Na IA, o maior desafio reside em melhorar a eficiência dos sistemas que processam conjuntos de dados não estruturados para extrair informações valiosas. Isso envolve o desenvolvimento de ferramentas de geração avançada de recuperação (RAG), combinando pesquisa tradicional e análises baseadas em IA para responder a consultas localizadas e mais amplas. Estas melhorias respondem a uma variedade de questões, desde detalhes muito específicos até detalhes gerais que abrangem todos os conjuntos de dados. Os sistemas RAG são essenciais para tarefas de resumo de documentos, extração de informações e análise de dados.
Um dos maiores problemas dos sistemas existentes é o equilíbrio entre custos operacionais e qualidade de produção. Métodos convencionais, como RAG baseado em vetores, funcionam bem para tarefas localizadas, como encontrar respostas específicas para trechos específicos de texto. No entanto, estes métodos falham quando lidam com questões globais que requerem uma compreensão abrangente do conjunto de dados. Em contraste, os sistemas RAG habilitados para gráficos abordam essas questões mais amplas, explorando relacionamentos entre estruturas de dados. No entanto, o alto custo do índice associado aos sistemas gráficos RAG os torna inacessíveis para casos de uso sensíveis ao custo. Portanto, alcançar um equilíbrio entre escalabilidade, acessibilidade e qualidade continua a ser um gargalo crítico para as tecnologias existentes.
Ferramentas de recuperação como Vector RAG e GraphRAG são referências do setor. Vector RAG é configurado para identificar o conteúdo mais relevante usando chunking baseado em similaridade. Este método é excelente em precisão, mas requer mais escopo para lidar com consultas globais complexas. Por outro lado, o GraphRAG utiliza um método de pesquisa abrangente, que identifica estruturas sociais subjacentes ao conjunto de dados para responder a questões amplas e complexas. No entanto, a dependência do GraphRAG na pré-resumição de dados aumenta a sua carga computacional e financeira, limitando a sua utilização a grandes projetos que consomem muitos recursos. Outros métodos, como o RAPTOR e o DRIFT, tentaram resolver algumas destas limitações, mas os desafios permanecem.
Pesquisadores da Microsoft apresentaram LazyGraphRAGum novo sistema que excede as limitações das ferramentas existentes, ao mesmo tempo que combina os seus pontos fortes. LazyGraphRAG elimina a necessidade de um resumo inicial caro de dados, reduzindo o custo do índice para aproximadamente o mesmo nível do RAG vetorial. Os pesquisadores projetaram o sistema para funcionar em tempo real, usando estruturas de dados leves para responder a consultas locais e globais sem resumo prévio. LazyGraphRAG está atualmente integrado à biblioteca GraphRAG de código aberto, tornando-o uma solução econômica e escalonável para uma variedade de aplicações.
LazyGraphRAG usa um método exclusivo de profundidade de campo que combina as melhores técnicas de pesquisa para inicialização e escopo. Ele utiliza dinamicamente técnicas de PNL para extrair conceitos e suas associações, desenvolvendo estruturas gráficas à medida que as consultas são processadas. Ao adiar o uso do LLM até que seja necessário, o LazyGraphRAG alcança eficiência enquanto mantém a qualidade. O orçamento de teste de compatibilidade do sistema, um parâmetro variável, permite aos usuários estimar o custo do cálculo com a precisão da consulta, equilibrando efetivamente todos os diversos requisitos de desempenho.
LazyGraphRAG atinge a mesma qualidade de resposta que a pesquisa internacional GraphRAG, mas com 0,1% de seu custo de indexação. Ele supera o RAG vetorial e outros sistemas concorrentes em consultas locais e globais, incluindo pesquisas GraphRAG DRIFT e RAPTOR. Apesar de um orçamento pequeno para testes de conformidade de 100%, o LazyGraphRAG se destacou em métricas como compreensão, diversidade e capacitação. Com um orçamento de 500, superou todas as outras alternativas, recebendo apenas 4% do custo da consulta de pesquisa global do GraphRAG. Essa padronização garante que os usuários possam obter respostas de alta qualidade por uma fração do custo, tornando-os ideais para análises preditivas e aplicações de tomada de decisão em tempo real.
O estudo fornece várias conclusões importantes que sublinham o seu impacto:
- Eficácia de custos: LazyGraphRAG reduz os custos do índice em mais de 99,9% em comparação com o GraphRAG completo, tornando a recuperação aprimorada acessível a usuários com recursos limitados.
- Escalabilidade: equilibra qualidade e custo usando um orçamento de testes de compatibilidade, garantindo adequação para vários casos de uso.
- Alto desempenho: O sistema superou oito métodos concorrentes em todas as métricas de teste, demonstrando capacidades superiores de tratamento de consultas locais e globais.
- Adaptabilidade: seu índice leve e computação diferida o tornam ideal para streaming de dados e consultas únicas.
- Contribuição de código aberto: Sua integração à biblioteca GraphRAG promove acessibilidade e melhorias voltadas para a comunidade.
Concluindo, o LazyGraphRAG representa um grande avanço na geração avançada de recuperação. Ao combinar economia com desempenho excepcional, ele resolve limitações de longa data de sistemas RAG baseados em vetores e gráficos. Sua arquitetura inovadora permite que os usuários extraiam informações de vários conjuntos de dados sem o ônus financeiro da pré-indexação ou comprometimento da qualidade. Esta pesquisa marca um avanço significativo, fornecendo uma solução flexível e escalável que estabelece novos padrões para exploração de dados e geração de consultas.
Confira Detalhes e GitHub. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.
🎙️ 🚨 'Avaliação de vulnerabilidade de um grande modelo de linguagem: uma análise comparativa dos métodos da Cruz Vermelha' Leia o relatório completo (Promovido)
Asif Razzaq é o CEO da Marktechpost Media Inc. Como empresário e engenheiro visionário, Asif está empenhado em aproveitar o poder da Inteligência Artificial em benefício da sociedade. Seu mais recente empreendimento é o lançamento da Plataforma de Mídia de Inteligência Artificial, Marktechpost, que se destaca por sua ampla cobertura de histórias de aprendizado de máquina e aprendizado profundo que parecem tecnicamente sólidas e facilmente compreendidas por um amplo público. A plataforma possui mais de 2 milhões de visualizações mensais, o que mostra sua popularidade entre os telespectadores.
🧵🧵 [Download] Avaliação do relatório do modelo de risco linguístico principal (ampliado)
