Os sistemas de agentes baseados em linguagem representam um avanço na inteligência artificial, permitindo a automação de tarefas como resposta a perguntas, planejamento e resolução avançada de problemas. Esses sistemas, que dependem fortemente de Large Language Models (LLMs), comunicam-se usando linguagem natural. Este design inovador reduz a complexidade de engenharia de componentes individuais e permite uma interação perfeita entre eles, abrindo caminho para a execução bem-sucedida de tarefas multifacetadas. Apesar do seu grande potencial, a otimização destes sistemas para aplicações do mundo real continua a ser um grande desafio.
Um problema importante no desenvolvimento de sistemas de agentes é fornecer feedback preciso aos vários componentes da estrutura de computação. À medida que esses sistemas são modelados por meio de gráficos computacionais, o desafio aumenta devido às complexas interações entre seus componentes. Sem uma orientação precisa, a optimização do desempenho de elementos individuais é ineficiente e prejudica a eficácia global destes sistemas na entrega de resultados precisos e fiáveis. Esta falta de métodos de otimização eficientes limitou a escalabilidade destes sistemas a sistemas complexos.
Soluções existentes como DSPy, TextGrad e OptoPrime tentaram resolver o problema de otimização. DSPy usa técnicas de otimização rápida, enquanto TextGrad e OptoPrime contam com processos de feedback inspirados na reformulação. No entanto, esses métodos muitas vezes ignoram os relacionamentos críticos entre os nós do gráfico ou não conseguem integrar as dependências dos nós vizinhos, resultando em distribuição de feedback inadequada. Estas limitações limitam a sua capacidade de desenvolver sistemas de agentes de forma eficaz, especialmente quando se trata de estruturas computacionais complexas.
Pesquisadores da Universidade de Ciência e Tecnologia King Abdullah (KAUST) e colaboradores da SDAIA e do Swiss AI Lab IDSIA introduziram a difusão semântica e a descida do gradiente semântico para enfrentar esses desafios. A retropropagação semântica generaliza a variação automática do modo retroativo introduzindo gradientes semânticos, que fornecem uma compreensão mais ampla de como as variáveis dentro do sistema afetam o desempenho geral. Esta abordagem enfatiza o alinhamento entre componentes, incluindo relacionamentos de nós para melhorar a precisão da otimização.
A retropropagação semântica utiliza gráficos computacionais onde gradientes semânticos orientam a otimização de variáveis. Esta abordagem estende gradientes tradicionais capturando relacionamentos semânticos entre nós e vizinhos. Esses gradientes são combinados com funções retroativas correspondentes à estrutura do gráfico, o que garante que a otimização reflita a verdadeira dependência. A descida gradiente semântica usa esses gradientes iterativamente, permitindo atualizações sistemáticas de parâmetros otimizados. Abordar distribuições de resposta em nível de componente e em todo o sistema permite uma solução eficiente do problema de otimização de agente baseado em gráfico (GASO).
Testes experimentais mostraram a eficácia da descida do gradiente semântico em vários benchmarks. No GSM8K, um conjunto de dados composto por problemas matemáticos, este método alcançou uma precisão impressionante de 93,2%, superando os 78,2% do TextGrad. Da mesma forma, o conjunto de dados BIG-Bench Hard apresentou alto desempenho com 82,5% de precisão em tarefas de processamento de linguagem natural e 85,6% em tarefas algorítmicas, superando outros métodos como OptoPrime e COPRO. Estes resultados destacam a robustez e flexibilidade do método em diversos conjuntos de dados. Um estudo de extração do conjunto de dados LIAR enfatizou ainda mais a sua eficácia. A pesquisa revelou uma degradação significativa do desempenho quando partes importantes da retropropagação semântica são removidas, enfatizando a necessidade de seu design integrativo.
A descida gradiente semântica não apenas melhora o desempenho, mas também melhora o custo computacional. Ao incorporar dependências de vizinhança, o método reduziu o número de cálculos futuros necessários em comparação com os métodos tradicionais. Por exemplo, no conjunto de dados LIAR, incluir as informações do nó vizinho melhorou a precisão da classificação em até 71,2%, um aumento significativo em comparação com a variante que não inclui esta informação. Esses resultados demonstram o poder da retropropagação semântica para fornecer otimização de alto nível e econômica de sistemas de agentes.
Concluindo, a pesquisa apresentada pela equipe KAUST, SDAIA e IDSIA fornece uma nova solução para os desafios de desenvolvimento enfrentados pelos sistemas de agentes baseados em linguagem. Ao usar retropropagação semântica e descida gradiente, este método resolve as limitações dos métodos existentes e estabelece uma estrutura para desenvolvimento futuro. O desempenho impressionante do método em todos os benchmarks destaca o seu potencial transformador na melhoria da eficiência e confiabilidade dos sistemas baseados em IA.
Confira Página de papel e GitHub. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Não se esqueça de participar do nosso SubReddit de 60k + ML.
🚨 PRÓXIMO WEBINAR GRATUITO DE IA (15 DE JANEIRO DE 2025): Aumente a precisão do LLM com dados artificiais e inteligência experimental–Participe deste webinar para obter insights práticos sobre como melhorar o desempenho e a precisão do modelo LLM e, ao mesmo tempo, proteger a privacidade dos dados.
Nikhil é consultor estagiário na Marktechpost. Ele está cursando dupla graduação em Materiais no Instituto Indiano de Tecnologia, Kharagpur. Nikhil é um entusiasta de IA/ML que pesquisa constantemente aplicações em áreas como biomateriais e ciências biomédicas. Com sólida formação em Ciência de Materiais, ele explora novos desenvolvimentos e cria oportunidades para contribuir.
✅ [Recommended Read] Nebius AI Studio se expande com modelos de visão, novos modelos de linguagem, incorporados e LoRA (Aprimorado)
