Robustez Integrada em Modelos de Linguagem de Grande Escala (LLMs): Uma Abordagem de Codificação Probabilística

Uma abordagem popular ao aplicar Modelos de Linguagem de Grande Escala (LLMs) a tarefas analíticas complexas, como codificação, é tentar resolver o problema completo dentro da janela de contexto do modelo. A parte da informação que o LLM pode processar ao mesmo tempo é chamada de janela de contexto. A quantidade de dados que um modelo pode processar de uma só vez tem um impacto significativo na sua capacidade de gerar uma solução. Embora este método seja eficaz para tarefas simples, surgem problemas ao lidar com situações complexas e com várias etapas.

De acordo com pesquisas recentes, os LLMs têm um desempenho significativamente melhor em tarefas complexas quando dividem a tarefa em subtarefas menores usando um método chamado decomposição de subtarefas, às vezes chamado de cadeia de raciocínio (COT). Este método envolve dividir um grande problema em tarefas menores e resolvê-las separadamente, combinando então as descobertas para fornecer uma solução completa. Usando esta abordagem, os LLMs podem se concentrar nas partes mais simples do processo e garantir que cada etapa seja concluída com sucesso.

A criação contextual de empregos ainda é muito limitada, mesmo com os benefícios da fragmentação do emprego. Esta limitação explica o desafio que os LLMs enfrentam ao tentar gerenciar múltiplas subtarefas na mesma janela de contexto. A complexidade dos processos de planejamento e coordenação aumenta exponencialmente com o número de subtarefas envolvidas. Embora o LLM possa formular um problema, ele o resolve inteiramente dentro da estrutura taxonômica do modelo do sistema, resultando em baixo desempenho e precisão.

Os pesquisadores desenvolveram o conceito de dificuldade geracional para ajudar a compreender essa limitação. Esta métrica conta o número de vezes que o LLM tem que gerar respostas alternativas antes de encontrar a correta. Quando cada etapa precisa ser concluída dentro da mesma janela de contexto, a complexidade geracional de problemas compostos, aqueles com diversas tarefas relacionadas, aumenta significativamente. A complexidade da produção aumenta com o número de etapas e com a complexidade da tarefa, principalmente quando controlada por um único modelo.

O principal problema é que os LLMs funcionam dentro dos limites de um contexto fixo, mesmo que tentem decompor funções. Isso dificulta que o modelo nomeie corretamente todas as respostas quando as tarefas se tornam mais complexas e exigem um número menor de etapas. Os sistemas multiagentes são uma solução possível. Diferentes instâncias de LLMs podem ser usadas para dividir a carga em vez de um único LLM manipulando todas as subtarefas dentro de uma janela de contexto limitada. Como um LLM separado, cada agente pode se concentrar na resolução de uma parte específica do problema. Os resultados podem ser combinados para criar uma solução global, uma vez que cada agente tenha completado a sua parte. Uma abordagem distribuída reduz bastante a complexidade do contexto e a complexidade da geração porque cada modelo se concentra apenas em uma parte pequena e gerenciável do trabalho.

Comparado à abordagem de agente único, o emprego de sistemas multiagentes apresenta diversas vantagens. Primeiro, os modelos não são limitados pela janela de conteúdo quando o trabalho é dividido entre vários agentes, o que lhes permite resolver tarefas longas e complexas. Em segundo lugar, o sistema como um todo é mais preciso e eficiente, pois cada agente trabalha separadamente, evitando que a complexidade da tarefa cresça como aconteceria no caso de um único agente. A natureza autônoma dos LLMs, que produzem resultados passo a passo, é outra vantagem explorada pelos sistemas multiagentes. Dessa forma, problemas que ocorrem onde um modelo tem que lidar com todas as etapas ao mesmo tempo, e cada agente pode focar em sua parte do problema passo a passo.

A equipe mostrou que dividir os problemas compostos entre vários agentes reduz significativamente a complexidade da geração. Dados empíricos mostraram que quando múltiplas instâncias de LLM trabalham juntas para resolver tarefas, em vez de depender de um único modelo para lidar com tudo dentro de uma única janela de contexto, as tarefas são executadas muito mais rapidamente, especialmente em áreas como geração de código.

Concluindo, embora os LLMs tenham se mostrado promissores na resolução de problemas analíticos complexos, as dificuldades relacionadas ao design do conteúdo prejudicam o seu desempenho. Embora a decomposição de subtarefas seja útil, não é suficiente contornar completamente os limites da janela de contexto. Ao dividir o trabalho em múltiplas instâncias de LLM, os sistemas multiagentes apresentam uma opção eficiente que aumenta a precisão, reduz a complexidade e permite que os LLMs lidem com problemas complexos e de grande escala.

Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso Mais de 50k ML SubReddit

Interessado em promover sua empresa, produto, serviço ou evento para mais de 1 milhão de desenvolvedores e pesquisadores de IA? Vamos trabalhar juntos!