Nova: Uma Metodologia Iterativa de Planejamento e Pesquisa para o Desenvolvimento de Geração de Modelo Novo e Variável em Grandes Idiomas (LLM)

A inovação científica é importante para o desenvolvimento humano porque impulsiona avanços numa variedade de indústrias, incluindo tecnologia, cuidados de saúde e sustentabilidade ambiental. Modelos de Linguagem em Grande Escala (LLMs) demonstraram recentemente o potencial para acelerar a descoberta científica, gerando hipóteses de pesquisa devido às suas extensas capacidades de processamento de texto. No entanto, devido às suas limitações em termos de recolha e utilização de conhecimento externo, os atuais LLMs muitas vezes não conseguem gerar ideias verdadeiramente novas. Esses métodos geralmente fornecem conceitos excessivamente específicos, repetitivos ou irrealistas quando não há uma maneira eficaz de integrar as diversas informações. Isto deve-se em grande parte à sua tendência de confiar em padrões de dados existentes, em vez de aprender ativamente e integrar dados novos e relevantes.

Para superar esta limitação, a equipe de pesquisa melhorou suas estratégias de planejamento e busca para aumentar a capacidade do LLM de gerar ideias científicas. Para orientar a recuperação de conhecimento externo pelo LLM de uma forma que amplie e aprofunde intencionalmente a sua compreensão, esta metodologia introduz uma abordagem sistemática e iterativa. Esta abordagem tenta ir além dos métodos de conhecimento limitado que existem nos resultados tradicionais do LLM, encontrando e integrando sistematicamente novas ideias de diferentes fontes de pesquisa.

O edifício funciona em várias etapas. Inicialmente, ele começa com um conjunto de hipóteses iniciais geradas pelo modelo usando técnicas básicas de descoberta científica. O processo de avaliação começa com estes conceitos iniciais. A estrutura entra então num ciclo de planeamento e pesquisa, em vez de permitir que o LLM continue sem rumo. O LLM é responsável por criar uma estratégia de busca focada para cada ciclo que visa encontrar artigos de pesquisa, ideias ou descobertas que possam avançar conceitos existentes. Ao utilizar uma estratégia de pesquisa sistemática, o modelo é forçado a integrar ideias crescentes e diversas, em vez de se desviar para padrões repetitivos. Cada repetição melhora os ciclos anteriores, fortalecendo a diversidade e o refinamento de conceitos.

Este método foi completamente validado usando testes automatizados e revisão por revisor humano. Os resultados indicaram que a estrutura melhora significativamente a qualidade dos conceitos produzidos pelos LLMs, particularmente em termos de originalidade e diversidade. Por exemplo, quando este quadro de planeamento iterativo é utilizado, o modelo gera 3,4 vezes mais ideias originais e criativas do que quando não é utilizado. Um teste do Torneio Suíço baseado em 170 artigos científicos de importantes conferências foi utilizado para avaliar a metodologia. As ideias foram classificadas de acordo com a sua classificação e variância utilizando este método de teste, e o quadro iterativo produziu pelo menos 2,5 vezes mais ideias do que a abordagem climática.

A ênfase desta estrutura iterativa no aumento do escopo e da funcionalidade da recuperação de informações é crítica para o seu sucesso. Os métodos convencionais muitas vezes dependem de encontrar um negócio ou uma palavra-chave sem uma intenção clara de inovar, o que muitas vezes produz dados genéricos que não inspiram novas ideias. Esta nova abordagem, por outro lado, garante que todo o ciclo de geração de ideias seja orientado por um objetivo específico de forma a melhorar o efeito criativo do modelo e aumentar a sua compreensão. Além de expandir o corpo de conhecimento, esta abordagem sistemática alinha todas as etapas da aquisição de conhecimento com o objetivo de gerar ideias de investigação originais e de alta qualidade.

Os LLMs tornam-se ferramentas muito úteis para a descoberta científica devido a esta estrutura sistemática. Dar aos modelos a capacidade de estudar e sintetizar sistematicamente informações relevantes permite-lhes gerar conceitos práticos e relevantes em situações específicas de pesquisa. Este desenvolvimento da metodologia LLM tem o potencial de revolucionar os campos de investigação, proporcionando aos investigadores uma gama muito mais ampla de incentivos iniciais e conhecimentos para resolver problemas desafiantes. Este quadro é muito promissor e levanta a perspectiva de um tempo em que a geração de conceitos impulsionada pela IA se tornará uma ferramenta importante para a investigação e desenvolvimento científicos.

Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.

[Upcoming Live Webinar- Oct 29, 2024] A melhor plataforma para modelos ajustados: mecanismo de inferência Predibase (atualizado)