A geração aumentada de recuperação (RAG) tornou-se o principal método para melhorar as habilidades dos LLMs, integrando conhecimento externo em seus resultados. Os métodos RAG permitem que os LLMs acessem informações adicionais de fontes externas, como bancos de dados baseados na web, literatura científica ou um domínio específico, o que melhora seu desempenho em tarefas intensivas em conhecimento. Os sistemas RAG podem gerar respostas altamente precisas usando informações do modelo interno e recuperar dados externos. Apesar das suas vantagens, os sistemas RAG muitas vezes requerem assistência na integração da informação recuperada com a informação interna, levando a potenciais conflitos e à redução da fiabilidade nos resultados do modelo.
Quando os sistemas RAG recebem dados externos, sempre existe o risco de obter informações irrelevantes, desatualizadas ou maliciosas. Um grande desafio associado ao RAG é a questão da recuperação incompleta. Este problema pode levar a inconsistências e resultados incorretos quando o LLM tenta combinar o seu conhecimento interno com conteúdo externo defeituoso. Por exemplo, a pesquisa mostrou que até 70% das funções retornadas em situações do mundo real não contêm exatamente respostas reais, levando a um baixo desempenho de LLMs com amplificação RAG. O problema é agravado quando os LLMs lidam com questões complexas ou domínios onde a fiabilidade das fontes externas é incerta. Para resolver isto, os investigadores estão a concentrar-se na criação de um sistema que possa gerir e reduzir eficazmente estes conflitos, utilizando métodos avançados de integração.
Os métodos RAG tradicionais incluem várias técnicas para melhorar a qualidade e robustez da recuperação, como a filtragem de dados irrelevantes, o uso de sistemas multiagentes para processar as passagens recuperadas ou o uso de técnicas de reescrita de consultas. Embora estes métodos tenham mostrado algum sucesso na melhoria da recuperação inicial, eles são limitados pela sua incapacidade de lidar com conflitos inerentes entre informações internas e externas na fase pós-recuperação. Como resultado, eles precisam descobrir onde a qualidade dos dados retornados pode ser melhor e mais consistente, levando a respostas incorretas. A equipa de investigação procurou colmatar esta lacuna desenvolvendo um método que filtra e seleciona dados de alta qualidade e integra fontes de informação contraditórias para garantir a fiabilidade do resultado final.
Pesquisadores do Google Cloud AI Research e da University of Southern California o desenvolveram RAG inteligenteque apresenta uma abordagem única para lidar com a imperfeição da promoção de recuperação. Os pesquisadores usaram uma estrutura dinâmica que ajusta dinamicamente a forma como o conhecimento interno e externo é utilizado. O Astute RAG inicialmente obtém informações do conhecimento interno dos LLMs, que é uma fonte complementar de dados externos. Em seguida, ele realiza a integração das informações de origem, comparando as informações internas com as passagens recuperadas. Este processo identifica e resolve conflitos de informação através do desenvolvimento iterativo de fontes de informação. A resposta final é determinada com base na confiabilidade de dados consistentes, o que garante que o resultado não seja influenciado por informações incorretas ou enganosas.
Os resultados dos testes demonstraram o desempenho do Astute RAG em vários conjuntos de dados, como TriviaQA, BioASQ e PopQA. Em média, a nova metodologia alcançou uma melhoria de 6,85% na precisão geral em comparação com os sistemas RAG tradicionais. Quando os pesquisadores testaram o Astute RAG em um cenário extremo, onde todos os episódios retornados eram inúteis ou enganosos, o método ainda superou os outros programas por uma grande margem. Por exemplo, enquanto outros métodos RAG não conseguiram produzir resultados precisos nesses casos, o Astute RAG alcançou níveis de desempenho quase perfeitos usando apenas informações internas do modelo. Este resultado mostra que o Astute RAG supera com sucesso as limitações existentes dos métodos existentes baseados em recuperação.
As principais conclusões do estudo podem ser resumidas da seguinte forma:
- Recuperação incompleta como gargalo: A pesquisa aponta a recuperação incompleta como uma das principais causas de falha nos sistemas RAG existentes. Destaca que 70% dos trechos retornados em suas pesquisas não possuem respostas específicas.
- Disputas de informação: A pesquisa mostra que 19,2% dos casos apresentaram conflito de informações entre fontes internas e externas, enquanto 47,4% dos conflitos foram resolvidos corretamente apenas com informações internas.
- Desempenho em diferentes conjuntos de dados: Após três iterações de agrupamento, o Astute RAG alcançou uma precisão de 84,45% no TriviaQA e 62,24% no BioASQ, superando os métodos RAG básicos de melhor desempenho.
- Durabilidade sob condições extremas: O método manteve alto desempenho mesmo quando todos os dados externos eram enganosos, demonstrando sua robustez e capacidade de lidar com casos extremos de conflito de informações.
- Combinando informações repetitivas: O RAG inteligente filtra com eficácia dados irrelevantes ou prejudiciais, refinando as informações por meio de múltiplas iterações, garantindo que o LLM produza respostas confiáveis e precisas.
Concluindo, o Astute RAG aborda o importante desafio do conflito de informações na melhoria da produtividade de recuperação, introduzindo uma estrutura flexível que integra efetivamente informações internas e externas. Este método reduz os efeitos negativos da recuperação incompleta e melhora a robustez e confiabilidade das respostas LLM em aplicações do mundo real. Os resultados experimentais mostram que o Astute RAG é uma solução para resolver as limitações dos sistemas RAG existentes, especialmente em situações desafiadoras com fontes externas não confiáveis.
Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso Mais de 50k ML SubReddit
[Upcoming Event- Oct 17 202] RetrieveX – Conferência de recuperação de dados GenAI (promovida)
Asif Razzaq é o CEO da Marktechpost Media Inc. Como empresário e engenheiro visionário, Asif está empenhado em aproveitar o poder da Inteligência Artificial em benefício da sociedade. Seu mais recente empreendimento é o lançamento da Plataforma de Mídia de Inteligência Artificial, Marktechpost, que se destaca por sua ampla cobertura de histórias de aprendizado de máquina e aprendizado profundo que parecem tecnicamente sólidas e facilmente compreendidas por um amplo público. A plataforma possui mais de 2 milhões de visualizações mensais, o que mostra sua popularidade entre o público.
