Os LLMs mostram-se muito promissores como mecanismos avançados de acesso ao conhecimento devido à sua capacidade de gerar respostas longas e em linguagem natural. Seu treinamento prévio em larga escala em vários conjuntos de dados lhes permite responder a uma variedade de perguntas. Técnicas como o ajuste de instruções e a aprendizagem por reforço a partir das respostas das pessoas melhoram a relevância e o detalhe das suas respostas. No entanto, os LLMs precisam de ajuda para detectar itens faltantes e gerar conteúdo incorreto, especialmente em respostas longas, onde é difícil garantir a precisão factual. Apesar dos avanços no pensamento e na ajuda, a questão dos factos continua a ser o principal obstáculo à sua adoção no mundo real.
Pesquisadores da Universidade Nacional de Taiwan desenvolveram o FACTALIGN, uma estrutura projetada para melhorar a precisão factual dos LLMs, mantendo sua utilidade. FACTALIGN apresenta fKTO, um algoritmo de alinhamento de nível de frase refinado baseado no método de otimização Kahneman-Tversky. Usando os mais recentes avanços em verificação automatizada de fatos, o FACTALIGN combina as respostas do LLM com testes factuais bem analisados. Testes de código aberto e mineração de dados mostram que o FACTALIGN melhora significativamente a precisão sem sacrificar a utilidade, aumentando o resultado real da F1. As principais contribuições da pesquisa incluem o algoritmo fKTO e a estrutura FACTALIGN para melhorar a confiabilidade do LLM.
Pesquisas recentes sobre alinhamento de modelos de linguagem têm se concentrado no alinhamento de modelos com valores humanos. InstructGPT e LLaMA-2 demonstraram instruções aprimoradas a seguir usando aprendizagem por reforço de feedback humano (RLHF). RLHF bem caracterizado e métodos como IA Constitucional introduzem feedback baseado em IA para reduzir os requisitos de anotação humana. Outros métodos, como DPO e KTO, fornecem alvos de alinhamento simples fora do RL, e o fKTO estende o KTO para a compreensão em nível de frase usando verificadores de fatos. Os desafios do mundo real, como as alucinações, foram abordados por técnicas como a geração aumentada de recuperação e modelos de autoverificação como o SelfCheckGPT. Os métodos mais recentes, como FactTune e FLAME, concentram-se em melhorar os fatos usando verificadores de fatos e técnicas de alinhamento, que a fKTO está melhorando continuamente.
A estrutura FACTALIGN inclui um processo de verificação e alinhamento de fatos de longo alcance para melhorar a precisão e a utilidade dos LMs. Ele usa instruções atômicas de sentenças para criar perda no nível da sentença, o que permite um alinhamento mais eficiente do que algoritmos que exigem rótulos de preferência pareados. A função de perda geral inclui perda no nível de resposta e no nível de frase, dando peso a eles. A estrutura usa otimização iterativa para corrigir discrepâncias entre as respostas dos testes off-line e os dados de treinamento do modelo. Isso envolve amostrar novas respostas de tempos em tempos, verificar sua validade e adicioná-las ao conjunto de dados de treinamento para melhorias adicionais.
Os testes mostram a eficácia da estrutura FACTALIGN em comparação com vários modelos, incluindo GPT-4-Turbo e LLaMA-2-70B-Chat. FACTALIGN melhora significativamente a precisão e utilidade do modelo Gemma-2B de linha de base, alcançando uma melhoria de 40,1% em f1@100 e 29,2% nas pontuações do MT-Bench. As descobertas mostram que o FACTALIGN melhora principalmente a recordação factual, aumentando as afirmações verdadeiras de 66,8 para 135,1, ao mesmo tempo que melhora ligeiramente a precisão factual. O estudo de ablação mostra a necessidade de melhorias iterativas e destaca o impacto positivo da perda de fKTO e dos dados de domínio normal no desempenho geral do modelo.
Concluindo, o estudo apresenta o FACTALIGN, uma estrutura para melhorar a precisão factual das respostas longas produzidas pelos LLMs. A estrutura inclui um processo de construção de dados e um algoritmo de alinhamento bem caracterizado denominado fKTO, melhorando a validade e a utilidade do resultado do LLM. A análise mostra que o FACTALIGN permite o controle preciso da exatidão factual e dos níveis de recuperação. Ao abordar questões como alucinações e conteúdo falso, o FACTALIGN mostra uma melhoria significativa na precisão das respostas do LLM ao código aberto e à busca de informações, permitindo que os LLMs forneçam informações ricas, mantendo a integridade real.
Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso Mais de 50k ML SubReddit
Interessado em promover sua empresa, produto, serviço ou evento para mais de 1 milhão de desenvolvedores e pesquisadores de IA? Vamos trabalhar juntos!
Sana Hassan, estagiária de consultoria na Marktechpost e estudante de pós-graduação dupla no IIT Madras, é apaixonada pelo uso de tecnologia e IA para enfrentar desafios do mundo real. Com um profundo interesse em resolver problemas do mundo real, ele traz uma nova perspectiva para a interseção entre IA e soluções da vida real.
