LogLLM: Usando modelos linguísticos em larga escala para detecção avançada de anomalias baseada em logs

A detecção de anomalias baseada em logs tornou-se importante para melhorar a confiabilidade do sistema de software, identificando problemas nos dados de log. No entanto, os métodos tradicionais de aprendizagem profunda muitas vezes têm dificuldade em traduzir informações semânticas em dados de registo, muitas vezes em linguagem natural. LLMs, como GPT-4 e Llama 3, têm se mostrado promissores no tratamento de tais tarefas devido ao seu avançado entendimento do idioma. Os métodos atuais baseados em LLM para detecção de anomalias incluem engenharia da informação, que usa LLMs em zero/poucas configurações, e ajuste fino, que modifica modelos para conjuntos de dados específicos. Apesar de suas vantagens, esses métodos enfrentam desafios na personalização da precisão da detecção e no gerenciamento da eficiência da memória.

A revisão da pesquisa aborda a detecção de ambiguidade baseada em logs, com foco em métodos de aprendizagem profunda, especialmente aqueles que usam LLMs pré-treinados. As técnicas comuns incluem métodos baseados em reconstrução (como autoencoders e GANs), que dependem de modelos de treinamento para reconstruir sequências de log normais e detectar anomalias com base em erros de reconstrução. Os métodos de classificação binária, geralmente supervisionados, detectam anomalias classificando as sequências de log como normais ou anormais. Os LLMs, incluindo modelos baseados em BERT e GPT, são usados ​​em duas técnicas principais: engenharia rápida, que utiliza o conhecimento interno dos LLMs, e ajuste fino, que customiza modelos para conjuntos de dados específicos para melhorar o desempenho da detecção difusa.

Pesquisadores da SJTU, em Xangai, desenvolveram o LogLLM, uma estrutura de detecção de ambiguidade baseada em log que usa LLMs. Ao contrário dos métodos convencionais que requerem analisadores de log, o LogLLM processa logs com expressões regulares. Ele usa BERT para extrair vetores semânticos e usa Llama, um decodificador conversor, para classificação de sequência de log. O projetor alinha os espaços vetoriais BERT e Llama para manter a consistência semântica. O processo de treinamento em três etapas do LogLLM aumenta sua eficácia e adaptabilidade. Experimentos em todos os quatro conjuntos de dados públicos mostram que o LogLLM supera os métodos existentes, detectando anomalias com precisão, mesmo em logs instáveis ​​com modelos dinâmicos.

A estrutura de detecção de anomalias LogLLM usa uma abordagem de três etapas: pré-processamento, modelagem estrutural e treinamento. Os logs são processados ​​primeiro usando expressões regulares para inserir parâmetros dinâmicos com um token constante, o que facilita o treinamento do modelo. O modelo arquitetônico inclui BERT para extração de vetores semânticos, um projetor para orientação de espaço vetorial e Llama para classificação de sequência logarítmica. O processo de treinamento inclui sobreamostragem de subclasses para lidar com desequilíbrio de dados, ajuste fino do Llama para modelos de resposta, treinamento de BERT e projetor de incorporação de log e, finalmente, ajuste fino de todo o modelo. QLoRA é usado para otimização, reduzindo o uso de memória e mantendo o desempenho.

O estudo avalia o desempenho do LogLLM usando quatro conjuntos de dados do mundo real: HDFS, BGL, Liberty e Thunderbird. LogLLM é comparado a vários métodos de aprendizagem não supervisionados, supervisionados e superficiais, incluindo DeepLog, LogAnomaly, PLLog e RAPID. O teste usa métricas como precisão, recall e pontuação F1. Os resultados mostram que o LogLLM atinge alto desempenho em todos os conjuntos de dados, com uma pontuação F1 média 6,6% superior à melhor alternativa, NeuralLog. O método atinge um bom equilíbrio entre precisão e recuperação, supera outros na detecção de anomalias e demonstra o valor do uso de anomalias rotuladas no treinamento.

Concluindo, o estudo apresenta LogLLM, uma estrutura de detecção de ambiguidade baseada em log que utiliza LLMs como BERT e Llama. O BERT extrai vetores semânticos de mensagens de entrada, enquanto o Llama analisa sequências de log. Um projetor é usado para alinhar os espaços vetoriais BERT e Llama para consistência semântica. Ao contrário dos métodos convencionais, o LogLLM primeiro processa os logs com expressões regulares, eliminando a necessidade de analisadores de log. A estrutura é treinada usando um novo processo trifásico para melhorar o desempenho e a flexibilidade. Resultados experimentais em quatro conjuntos de dados públicos mostram que o LogLLM supera os métodos existentes, detectando anomalias com sucesso mesmo em dados de log instáveis.

Confira Papel de novo Página GitHub. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.

[FREE AI WEBINAR] Usando processamento inteligente de documentos e GenAI em serviços financeiros e transações imobiliárias– Da estrutura à produção

Sana Hassan, estagiária de consultoria na Marktechpost e estudante de pós-graduação dupla no IIT Madras, é apaixonada pelo uso de tecnologia e IA para enfrentar desafios do mundo real. Com um profundo interesse em resolver problemas do mundo real, ele traz uma nova perspectiva para a intersecção entre IA e soluções da vida real.