Pesquisadores da AMD apresentam Agent Laboratory: uma estrutura independente baseada em LLM capaz de encerrar todo o processo de pesquisa

A investigação científica é frequentemente dificultada por limitações de recursos e procedimentos demorados. Tarefas como teste de hipóteses, análise de dados e redação de relatórios exigem muito esforço, deixando pouco espaço para testar várias ideias ao mesmo tempo. A crescente complexidade dos tópicos de investigação também agrava estas questões, exigindo uma combinação de conhecimentos especializados e competências técnicas que nem sempre estão prontamente disponíveis. Embora a tecnologia de IA se tenha mostrado promissora na redução de algumas destas responsabilidades, muitas vezes carece de integração e não consegue abordar todo o ciclo de vida da investigação de uma forma coerente.

Para responder a esses desafios, pesquisadores da AMD e da John Hopkins desenvolveram Laboratório de Agentesuma estrutura independente projetada para ajudar os cientistas a navegar no processo de pesquisa do início ao fim. Este novo programa utiliza os principais modelos linguísticos (LLMs) para orientar as principais fases da pesquisa, incluindo revisão da literatura, avaliação e redação de relatórios.

O Laboratório de Agentes inclui um pipeline de agentes especializados projetados para tarefas específicas de pesquisa. Agentes “PhD” gerenciam revisões de literatura, agentes “Engenheiros de ML” concentram-se em experimentos e agentes “PhD” compilam descobertas em relatórios acadêmicos. É importante ressaltar que a estrutura permite diferentes níveis de envolvimento humano, permitindo que os usuários direcionem o processo e garantam que os resultados sejam consistentes com os seus objetivos. Usando LLMs avançados como precursores do o1, o Agent Laboratory fornece uma ferramenta prática para pesquisadores que buscam melhorar a eficiência e o custo.

Abordagem técnica e principais benefícios

O fluxo de trabalho do Laboratório de Agentes está estruturado em torno de três componentes principais:

1. Revisão da literatura: O programa encontra e analisa artigos de pesquisa relevantes usando recursos como o arXiv. Através do refinamento iterativo, cria uma base de referência de alta qualidade para apoiar os estágios subsequentes.
2. Teste: O módulo “mle-solver” gera, avalia e filtra automaticamente o código de aprendizado de máquina. O fluxo de trabalho inclui execução de comandos, tratamento de erros e otimização iterativa para garantir resultados confiáveis.
3. Escrevendo um relatório: O módulo “paper solver” gera relatórios de curso em formato LaTeX, obedecendo a estruturas estabelecidas. Esta fase inclui edição iterativa e síntese de feedback para melhorar a clareza e a coerência.

A estrutura oferece diversas vantagens:

• Eficiência: Ao automatizar tarefas repetitivas, o Agent Laboratory reduz os custos de pesquisa em até 84% e encurta o tempo dos projetos.
• Flexibilidade: Os pesquisadores podem escolher o seu nível de envolvimento, mantendo o controle sobre as decisões críticas.
• Escalabilidade: A automação libera tempo de planejamento e eficiência, permitindo que os pesquisadores gerenciem projetos maiores.
• Credibilidade: Benchmarks de desempenho como o MLE-Bench destacam a capacidade do sistema de fornecer resultados confiáveis ​​em uma ampla gama de tarefas.

Avaliação e descobertas

O uso do Agent Laboratory foi validado através de testes extensivos. Os artigos produzidos usando o back-end o1-preview obtiveram alta pontuação em usabilidade e qualidade do relatório, enquanto o1-mini mostrou forte confiabilidade no teste. O modo de avaliação colaborativa do quadro, que incorpora o feedback dos utilizadores, tem sido muito eficaz na geração de resultados de investigação impactantes.

A análise de tempo de execução e custo revelou que o backend GPT-4o era muito econômico, concluindo projetos por apenas US$ 2,33. No entanto, a pré-visualização o1 alcançou uma alta taxa de sucesso de 95,7% para todas as tarefas. Na bancada do MLE, os concorrentes solucionadores de mle do Agent Laboratory tiveram um desempenho excepcionalmente bom, ganhando vários prêmios e superando a base humana em vários desafios.

A conclusão

O Agent Laboratory oferece uma abordagem cuidadosa para enfrentar os desafios dos fluxos de trabalho de pesquisa modernos. Ao automatizar tarefas rotineiras e melhorar a interação humana com a IA, permite que os investigadores se concentrem na inovação e no pensamento crítico. Embora o sistema tenha limitações – incluindo precisão e desafios ocasionais com testes automatizados – ele fornece uma base sólida para desenvolvimento futuro.

Olhando para o futuro, o desenvolvimento do Laboratório de Agentes poderá expandir as suas capacidades, tornando-o uma ferramenta mais valiosa para investigadores em todas as áreas. À medida que a descoberta cresce, tem o potencial de democratizar o acesso a ferramentas de investigação avançadas, promovendo uma comunidade científica inclusiva e eficiente.

Confira Artigo, código e página do projeto. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Não se esqueça de participar do nosso SubReddit de 60k + ML.

🚨 PRÓXIMO WEBINAR GRATUITO DE IA (15 DE JANEIRO DE 2025): Aumente a precisão do LLM com dados artificiais e inteligência experimental–Participe deste webinar para obter insights práticos sobre como melhorar o desempenho e a precisão do modelo LLM e, ao mesmo tempo, proteger a privacidade dos dados.

Asif Razzaq é o CEO da Marktechpost Media Inc. Como empresário e engenheiro visionário, Asif está empenhado em aproveitar o poder da Inteligência Artificial em benefício da sociedade. Seu mais recente empreendimento é o lançamento da Plataforma de Mídia de Inteligência Artificial, Marktechpost, que se destaca por sua ampla cobertura de histórias de aprendizado de máquina e aprendizado profundo que parecem tecnicamente sólidas e facilmente compreendidas por um amplo público. A plataforma possui mais de 2 milhões de visualizações mensais, o que mostra sua popularidade entre os telespectadores.