Os modelos linguísticos de grande escala (LLMs) mudaram para sempre o desenvolvimento de sistemas baseados em agentes. Contudo, gerenciar a memória nesses sistemas ainda é um desafio complexo. Os processos de memória permitem que os agentes retenham o contexto, recuperem informações importantes e interajam naturalmente durante longos períodos de tempo. Embora muitas estruturas tenham acesso ao GPT ou outras APIs proprietárias, a capacidade dos modelos locais terem um desempenho melhor do que o GPT-3 ou sistemas semelhantes abre a porta para soluções mais personalizadas. Vamos explorar os vários projetos, estruturas e ferramentas específicas de memória disponíveis, esclarecendo seus recursos e como eles podem oferecer suporte a sistemas baseados em agentes.
Muitas estruturas de agentes são construídas com LLMs proprietários em mente, muitas vezes terminais de API codificados e dificultam a integração de modelos locais. Embora os modelos espaciais possam teoricamente superar os modelos de identidade em determinadas situações, a sua implementação é por vezes simples. Os usuários muitas vezes recorrem a chamadas de API em um servidor local, que pode não corresponder às informações ou estrutura original. Esta falta de flexibilidade encorajou o desenvolvimento de projetos específicos de memória para resolver estas limitações.
Projetos de Memória
Letta: Letta é uma estrutura de código aberto projetada para construir aplicativos LLM robustos. É baseado nas ideias do artigo MemGPT, que sugere o uso do LLM para organizar a memória por meio de uma chamada de ferramenta. Letta funciona como um servidor e pode ser integrado a aplicações Python usando seu SDK. Suporta modelos locais com vLLM e Ollama, com modelos Q6 ou Q8 recomendados para melhor desempenho. Seu foco na integração de memória e no desempenho baseado em servidor o torna uma excelente opção para soluções de memória exigentes.
Memória: Relativamente novato na cena, Memoripy se concentra na modelagem de memória de uma forma que prioriza memórias importantes enquanto negligencia as menos importantes. Atualmente suporta APIs Ollama e OpenAI, com planos para aumentar a compatibilidade. Sua abordagem inovadora de pool de memória ajuda a simplificar as interações em sistemas baseados em agentes.
Mem0: Mem0 é uma “camada de memória inteligente”, com GPT-4o como modelo padrão. Ele também pode usar o LiteLLM para interagir com modelos abertos, tornando-o uma opção flexível para desenvolvedores que exploram alternativas aos sistemas proprietários.
Cognee: A Cognee usa pipelines de Extração, Cognição e Carga (ECL) escaláveis e modulares, permitindo importação eficiente de documentos e preparação estruturada de dados LLM. Sua capacidade de se conectar a qualquer endpoint compatível com OpenAI e suporte explícito para Ollama e modelos como Mixtral-8x7B tornam-no uma ferramenta versátil para tarefas que exigem muita memória.
Ferramenta básica de memória de agente Haystack: Esta ferramenta, que faz parte da estrutura Haystack, fornece memória de curto e longo prazo para agentes. Ele se integra perfeitamente ao ecossistema Haystack, permitindo que os desenvolvedores criem agentes habilitados para memória para uma variedade de aplicações.
Memória: Memary foi projetado para sistemas orientados a agentes, que geram memórias automaticamente em interações. Considere usar modelos locais com Ollama, facilitando a integração para desenvolvedores que trabalham com estruturas locais.
Memória do Kernel: Desenvolvido pela Microsoft, este projeto de pesquisa experimental oferece memória como plugin para outros serviços. Quando testado, fornece informações valiosas sobre as capacidades dos sistemas de memória do módulo.
Zepe: Zep mantém um gráfico de dados temporário para acompanhar a evolução dos dados do usuário ao longo do tempo. Ele suporta qualquer API compatível com OpenAI e menciona explicitamente LiteLLM como proxy. Tanto na versão Community quanto na versão Cloud, Zep oferece flexibilidade para vários cenários de implantação. A capacidade da versão Cloud de importar dados não conversacionais adiciona uma camada de flexibilidade.
MemoryScope: Projetado como um repositório de memória para chatbots, o MemoryScope inclui integração de memória e recursos de visualização. Ele suporta modelos Qwen, que fornecem recursos aprimorados de gerenciamento de memória para LLMs.
Serviço de memória LangGraph: Este modelo de exemplo mostra como usar memória em agentes LangGraph e serve como ponto de partida para soluções personalizadas.
Txtai: Embora seja principalmente uma ferramenta de geração aumentada de recuperação (RAG), o Txtai fornece exemplos que podem ser otimizados para sistemas de memória, demonstrando sua flexibilidade.
Langróide: Langroid combina armazenamento vetorial com recursos de cotação de fontes, tornando-o um forte candidato para soluções de memória personalizadas.
Memória LangChain: O design modular do LangChain oferece suporte à integração de memória, permitindo que os desenvolvedores construam sistemas de memória complexos para seus agentes.
WilmerAI: Esta plataforma fornece aos assistentes recursos de memória integrados, fornecendo uma solução para casos de uso específicos.
EMENTO: Um projeto de pesquisa focado em melhorar a memória episódica de longo prazo em LLMs, o EMENT combina incorporação e extração de entidades para melhorar a retenção de memória.
Concluindo, a área de gerenciamento de memória para sistemas baseados em agentes está mudando rapidamente, impulsionada pela necessidade de soluções eficientes e flexíveis. Embora muitas estruturas tenham sido construídas com APIs proprietárias em mente, o foco crescente em modelos locais e sistemas abertos estimulou a inovação neste domínio. Os desenvolvedores têm muitas opções para construir agentes habilitados para memória, desde projetos como Letta e Memoripy até ferramentas como Cognee e Zep. Seja usando estruturas existentes ou personalizando soluções, as oportunidades para otimizar a memória do agente são abundantes, permitindo aplicações mais complexas e sensíveis ao contexto.
Fontes:
Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.
🎙️ 🚨 'Avaliação de vulnerabilidade de um grande modelo de linguagem: uma análise comparativa dos métodos da Cruz Vermelha' Leia o relatório completo (Promovido)
Sana Hassan, estagiária de consultoria na Marktechpost e estudante de pós-graduação dupla no IIT Madras, é apaixonada pelo uso de tecnologia e IA para enfrentar desafios do mundo real. Com um profundo interesse em resolver problemas do mundo real, ele traz uma nova perspectiva para a intersecção entre IA e soluções da vida real.
🧵🧵 [Download] Avaliação do relatório do modelo de risco linguístico principal (ampliado)
