Modelos fundamentais (FMs) e modelos de linguagem em larga escala (LLMs) estão revolucionando as aplicações de IA ao permitir tarefas como resumo de texto, tradução em tempo real e desenvolvimento de software. Esta tecnologia permitiu o desenvolvimento de agentes autônomos que podem tomar decisões complexas e processos repetitivos com o mínimo de intervenção humana. No entanto, como estes programas lidam com actividades cada vez mais diversas, requerem fortes mecanismos de reconhecimento, rastreabilidade e conformidade. Garantir a sua credibilidade tornou-se importante, especialmente à medida que a procura por agentes independentes baseados em FM cresce no meio académico e na indústria.
Um grande obstáculo para os agentes independentes baseados em FM é a necessidade de rastreabilidade e visibilidade consistentes em todo o fluxo de trabalho. Esses agentes dependem de processos complexos, incluindo diversas ferramentas, módulos de memória e capacidades de tomada de decisão para executar suas tarefas. Essa complexidade muitas vezes leva a efeitos colaterais difíceis de remover e corrigir. Os requisitos regulamentares, como a Lei da UE sobre IA, acrescentam outra camada de complexidade ao exigir transparência e rastreabilidade em sistemas de IA de alto risco. A conformidade com esses quadros é essencial para ganhar confiança e garantir a implementação dos princípios da IA.
As ferramentas e estruturas existentes oferecem soluções incompletas, mas precisam entregar a visão definitiva. Por exemplo, LangSmith e Arize oferecem recursos para monitorar custos de agentes e melhorar a latência, mas não abordam a extensa rastreabilidade do ciclo de vida necessária para correção de erros e conformidade. Da mesma forma, estruturas como SuperAGI e CrewAI permitem a colaboração multiagente e a personalização de agentes, mas carecem de mecanismos robustos para monitorar processos de tomada de decisão ou rastrear erros em sua origem. Essas limitações exigem urgentemente ferramentas que possam fornecer monitoramento abrangente durante todo o ciclo de vida de produção do agente.
Pesquisadores da Data61 da CSIRO, Austrália, conduziram uma rápida revisão de ferramentas e métodos no ecossistema AgentOps para resolver essas lacunas. O estudo avaliou as ferramentas AgentOps existentes e identificou os principais recursos para obter visibilidade e rastreabilidade em agentes baseados em FM. Com base em suas descobertas, os pesquisadores propuseram uma visão abrangente dos dados de observação e artefatos rastreáveis que abrangem todo o ciclo de vida de um agente. A sua análise sublinha a importância destas ferramentas para garantir a fiabilidade do sistema, a correção de erros e a conformidade com quadros regulamentares, como a Lei da UE sobre IA.
A metodologia utilizada na pesquisa envolve uma análise detalhada das ferramentas que suportam o ecossistema AgentOps. Os pesquisadores identificaram a observabilidade e a rastreabilidade como componentes-chave para melhorar a confiabilidade dos agentes baseados em FM. As ferramentas AgentOps permitem que os desenvolvedores monitorem fluxos de trabalho, registrem interações LLM e rastreiem o uso de ferramentas externas. Os módulos de memória são destacados como importantes para manter o contexto de curto e longo prazo, permitindo que os agentes produzam resultados coerentes em tarefas de várias etapas. Outra característica importante é a integração de Guardrails, que impõem restrições comportamentais e operacionais para orientar os agentes no alcance dos seus objetivos pré-definidos. Recursos de visualização, como rastreamento de artefatos e estatísticas em nível de sessão, foram essenciais para monitoramento e depuração em tempo real.
O estudo revelou resultados que enfatizam a eficácia das ferramentas AgentOps para enfrentar os desafios dos agentes baseados em FM. Estas ferramentas garantem a conformidade com os artigos 12, 26 e 79 da Lei da UE sobre IA através de capacidades abrangentes de registo e monitorização. Os desenvolvedores podem acompanhar todas as decisões tomadas pelo agente, desde a entrada inicial do usuário até as etapas intermediárias e os resultados finais. Este nível de rastreabilidade não só permite a depuração, mas também melhora a transparência no desempenho do agente. As ferramentas de visualização dentro do ecossistema AgentOps também permitem a otimização do desempenho com análise em nível de sessão e insights acionáveis, ajudando os desenvolvedores a refinar os fluxos de trabalho e melhorar a eficiência. Embora melhorias numéricas específicas não tenham sido fornecidas no documento, a capacidade destas ferramentas para simplificar processos e melhorar a fiabilidade do sistema foi repetidamente enfatizada.
As descobertas dos pesquisadores Data61 da CSIRO fornecem uma visão sistemática do cenário AgentOps e seu potencial para transformar o desenvolvimento de agentes baseados em FM. A análise deles fornece insights valiosos para desenvolvedores e partes interessadas que buscam implementar sistemas de IA confiáveis e compatíveis com foco na visibilidade e rastreabilidade. A investigação sublinha a importância de integrar estas capacidades nas plataformas AgentOps, que servem de base para a construção de agentes autónomos robustos, transparentes e fiáveis. À medida que a procura por agentes não baseados em FM continua a crescer, os métodos e ferramentas descritos neste estudo marcam desenvolvimentos futuros.
Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.
[FREE AI WEBINAR] Usando processamento inteligente de documentos e GenAI em serviços financeiros e transações imobiliárias– Da estrutura à produção
Nikhil é consultor estagiário na Marktechpost. Ele está cursando dupla graduação em Materiais no Instituto Indiano de Tecnologia, Kharagpur. Nikhil é um entusiasta de IA/ML que pesquisa constantemente aplicações em áreas como biomateriais e ciências biomédicas. Com sólida formação em Ciência de Materiais, ele explora novos desenvolvimentos e cria oportunidades para contribuir.
🐝🐝 Evento do LinkedIn, 'Uma plataforma, possibilidades multimodais', onde o CEO da Encord, Eric Landau, e o chefe de engenharia de produto, Justin Sharps, falarão sobre como estão reinventando o processo de desenvolvimento de dados para ajudar o modelo de suas equipes – a IA está mudando o jogo, rápido.
