Já lhe fizeram uma pergunta para a qual você só sabe parte da resposta? Para dar uma resposta informada, o melhor a fazer seria ligar para um amigo que tenha mais conhecimento no assunto.
Este processo colaborativo também pode ajudar os principais tipos linguísticos (LLMs) a melhorar a sua precisão. No entanto, tem sido difícil ensinar os LLMs a reconhecer quando devem envolver-se com outro modelo em resposta. Em vez de usar fórmulas complexas ou grandes quantidades de dados rotulados para determinar quando os modelos deveriam funcionar juntos, os pesquisadores do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) do MIT imaginaram uma abordagem mais orgânica.
Seu novo algoritmo, denominado “Co-LLM”, pode combinar um LLM de uso geral com um modelo altamente especializado e ajudá-los a trabalhar juntos. À medida que o primeiro responde à resposta, o Co-LLM analisa cada palavra (ou token) em sua resposta para ver onde pode obter uma resposta mais precisa do modelo especialista. Esse processo leva a respostas mais precisas para coisas como informações médicas e problemas de matemática e raciocínio. Como não é necessário um modelo especialista para cada iteração, isso também leva a uma geração de feedback mais eficiente.
Para determinar quando o modelo base precisa da ajuda do modelo especialista, a estrutura usa aprendizado de máquina para treinar uma “variável transformacional”, ou uma ferramenta que pode mostrar a capacidade de cada palavra entre as respostas de dois LLMs. A mudança é como um gerente de projeto, encontrando áreas onde deveria chamar um especialista. Se você pedisse ao Co-LLM para nomear exemplos de espécies extintas de ursos, por exemplo, dois modelos escreveriam as respostas juntos. Um LLM de uso geral começa a incorporar feedback, variando a intervenção em partes onde pode incluir um sinal melhor do modelo especializado, como adicionar o ano em que a espécie de urso foi extinta.
“Com o Co-LLM, estamos essencialmente treinando um LLM de uso geral para ‘recorrer’ ao modelo especialista quando necessário”, disse Shannon Shen, estudante de doutorado do MIT em engenharia elétrica e ciência da computação e principal autor associado do CSAIL em o programa. novo artigo sobre o método. “Usamos dados de domínio específico para treinar um modelo básico sobre a experiência de colegas em áreas como tarefas biomédicas e questões matemáticas e de raciocínio. Esse processo detecta automaticamente partes dos dados que são difíceis de serem geradas pelo modelo base e instrui o modelo base a mudar para um LLM especializado, que foi pré-treinado em dados do mesmo ambiente. O modelo de uso geral fornece a geração de ‘andaimes’ e, se exigir um LLM especial, incentiva o especialista a criar os tokens desejados. Nossas descobertas mostram que os LLMs aprendem padrões de trabalho colaborativos, semelhantes a como as pessoas acham que deveriam chamar um especialista para preencher as lacunas.”
Uma combinação de flexibilidade e autenticidade
Imagine pedir a um LLM de uso geral que nomeie os ingredientes de um determinado medicamento prescrito. Ele pode responder incorretamente, exigindo conhecimentos especiais sobre modelos.
Para demonstrar a flexibilidade do Co-LLM, os pesquisadores usaram dados como o conjunto médico BioASQ para emparelhar um LLM básico com LLMs especializados em diferentes domínios, como o modelo Mediron, que é pré-treinado em dados médicos não rotulados. Isso permitiu que o algoritmo ajudasse a responder perguntas que os profissionais biomédicos costumam receber, como nomear os mecanismos que causam uma doença específica.
Por exemplo, se você pedisse a um LLM simples para nomear os ingredientes de um medicamento específico, ele poderia responder incorretamente. Com a tecnologia agregada de um modelo especializado em dados biomédicos, você obterá uma resposta mais precisa. Co-LLM também informa aos usuários onde verificar as respostas.
Outro exemplo de melhoria de desempenho do Co-LLM: quando encarregado de resolver um problema matemático como “a3 · a2 se a=5”, o modelo de uso geral calculou incorretamente a resposta para 125. Já o Co-LLM treinou o modelo para ser altamente interativo. com um LLM importante em matemática chamado Llemma, juntos descobriram que a solução correta era 3.125.
O Co-LLM forneceu respostas mais precisas do que LLMs simples e bem ajustados e modelos especializados não ajustados operando de forma independente. O Co-LLM pode direcionar dois modelos treinados de forma diferente para trabalharem juntos, enquanto outros métodos colaborativos eficazes de LLM, como “Proxy Tuning”, exigem que todos os seus componentes sejam treinados em paralelo. Além disso, esta premissa exige que cada modelo seja usado simultaneamente para gerar uma resposta, enquanto o algoritmo do MIT simplesmente executa seu próprio modelo especialista para tokens específicos, resultando em uma geração mais eficiente.
Quando perguntar a um especialista
O algoritmo dos pesquisadores do MIT destaca como a simulação de interações humanas pode aumentar a precisão em interações multi-LLM. Para melhorar a precisão em tempo real, a equipe pode recorrer à autocorreção: considera um método de regressão dinâmica que pode recuar se o modelo especialista não fornecer a resposta correta. Esta melhoria permitirá que o Co-LLM faça ajustes para que o algoritmo ainda possa fornecer uma resposta satisfatória.
A equipe também gostaria de atualizar o modelo especialista (treinando apenas o modelo base) quando novas informações estiverem disponíveis, mantendo as respostas o mais atualizadas possível. Isso permitirá que o Co-LLM combine conhecimento atualizado com fortes habilidades de pensamento. Por fim, o modelo pode ajudar com documentos comerciais, usando as informações mais recentes de que dispõe para atualizá-los adequadamente. O Co-LLM também pode treinar modelos privados menores para trabalhar com o LLM mais poderoso para desenvolver documentos que devem residir no servidor.
“O Co-LLM apresenta uma forma interessante de estudar a escolha entre dois modelos para melhorar a eficiência e a eficácia”, disse Colin Raffel, professor associado da Universidade de Toronto e diretor associado de pesquisa do Vector Institute, que não esteve envolvido na colaboração. pesquisar. “Como as decisões de roteamento são tomadas no nível do token, o Co-LLM fornece uma maneira granular de dividir etapas complexas de fabricação em um modelo mais poderoso. A combinação exclusiva de roteamento em nível de token de modelo também fornece maior flexibilidade que falta em métodos semelhantes. O Co-LLM contribui para uma importante linha de trabalho que visa desenvolver um ecossistema de modelos especializados para superar sistemas caros de IA monolítica. “
Shen foi coautor do artigo com quatro colaboradores do CSAIL: o estudante de doutorado Hunter Lang ’17, MEng ’18; o ex-pós-doutorado e pesquisador de AI/ML da Apple, Bailin Wang; Yoon Kim, professor assistente de engenharia elétrica e ciência da computação do MIT, e David Sontag PhD ’10, professor e membro da Jameel Clinic, ambos parte do MIT-IBM Watson AI Lab. Sua pesquisa foi apoiada, em parte, pela National Science Foundation, pela National Defense Science and Engineering Graduate (NDSEG), pelo MIT-IBM Watson AI Lab e pela Amazon. Seu trabalho foi apresentado na Reunião Anual da Association for Computational Linguistics.
