Em modelos linguísticos de grande escala (LLMs), o termo “alucinação” refere-se a situações em que os modelos produzem resultados que são semanticamente sólidos ou plausíveis, mas na verdade são errôneos ou sem sentido. Por exemplo, as alucinações ocorrem quando o modelo fornece informações incorretas, como a doença de Addison que causa “pele amarela clara” quando, na verdade, causa fadiga e pressão arterial baixa. Esta situação é um grande problema para a IA, pois pode levar à propagação de informações falsas ou enganosas. A questão das alucinações de IA foi explorada em vários estudos. Uma pesquisa da “ACM Computing Surveys” define ilusões como “ideias irreais que parecem reais”. A compreensão e o raciocínio dedutivo em sistemas de IA são essenciais para a sua utilização fiável. Abaixo estão seis maneiras discutidas de prevenir alucinações em LLMs:
Use dados de alta qualidade
Usar dados de alta qualidade é algo fácil de fazer. Os dados que treinam o LLM servem como base de conhecimento, e quaisquer deficiências neste conjunto de dados podem levar diretamente a resultados errôneos. Por exemplo, ao treinar um modelo para fornecer aconselhamento médico, um conjunto de dados que não tenha cobertura completa de doenças raras pode fazer com que o modelo gere respostas incorretas ou incompletas a perguntas sobre estes tópicos. Ao usar conjuntos de dados de amplo escopo e detalhados, os desenvolvedores podem reduzir o risco associado a dados ausentes ou incorretos. Os dados estruturados são importantes neste processo, pois fornecem uma estrutura clara e estruturada para a IA aprender, ao contrário dos dados confusos ou não estruturados, que podem levar à ambiguidade.
Use modelos de dados
Para qualidade de dados, o uso de modelos de dados fornece outra camada de controle e precisão. Os modelos de dados são estruturas predefinidas que especificam o formato esperado e o intervalo válido de respostas para uma tarefa específica. Por exemplo, nos relatórios financeiros, um modelo pode definir campos obrigatórios num balanço, tais como activos, passivos e rendimento líquido. Essa abordagem garante que o modelo esteja em conformidade com os requisitos específicos do domínio e ajuda a manter a consistência entre os resultados. Os modelos protegem contra a geração de respostas irrelevantes ou incorretas, aderindo estritamente às diretrizes predefinidas.
Ajuste de parâmetros
Outra forma eficaz de reduzir as alucinações é o ajuste de parâmetros. Ao ajustar os principais parâmetros, os desenvolvedores podem ajustar o comportamento do LLM para melhor corresponder a tarefas específicas. Parâmetros como temperatura, frequência e penalidade de presença permitem controle granular sobre as características de saída do modelo. Em aplicações criativas, como poesia ou narração de histórias, uma configuração de temperatura mais alta pode ser usada para introduzir aleatoriedade e criatividade. Por outro lado, uma temperatura mais baixa dos resultados técnicos ou factuais pode ajudar a garantir precisão e consistência. O ajuste fino desses parâmetros permite que o modelo encontre o equilíbrio certo entre inovação e confiabilidade.
Pratique Engenharia Ágil
A engenharia rápida também é uma ferramenta importante para reduzir as alucinações. Essa abordagem envolve a elaboração de instruções bem elaboradas que orientam o modelo para produzir os resultados corretos. Os desenvolvedores podem melhorar a qualidade de suas respostas fornecendo instruções claras e exemplos de perguntas e atribuindo funções específicas à IA. Por exemplo, se perguntar a um modelo sobre o impacto económico da inflação, uma pergunta como “Como profissional financeiro, explique como a inflação afecta as taxas de juro” estabelece expectativas claras para o tipo de resposta necessária.
Geração Aumentada de Recuperação (RAG)
RAG representa o método mais avançado para garantir a precisão da produção do LLM. O RAG combina as capacidades generativas de um modelo de IA com fontes externas de informação, como bancos de dados ou documentos selecionados. Essa integração permite que o modelo baseie suas respostas em informações autênticas e específicas do domínio, em vez de depender apenas de seus dados de treinamento. Por exemplo, um chatbot de suporte ao cliente instalado pela RAG pode consultar o manual do produto para responder às perguntas do usuário com precisão. Ao incorporar informações externas, o RAG reduz o impacto do viés dos dados de treinamento e garante que os resultados do modelo sejam precisos e contextuais.
Verificação de fatos pessoais
A supervisão humana continua a ser uma parte importante da prevenção de preconceitos nos LLMs. Os verificadores de fatos humanos desempenham um papel importante na revisão do conteúdo gerado pela IA para identificar e corrigir erros que o modelo possa não perceber. Esta camada de revisão é importante em situações de grande visibilidade, como a produção de notícias ou a elaboração de um documento jurídico, onde erros factuais podem ter consequências significativas. Por exemplo, num sistema de geração de notícias, editores humanos podem verificar os factos apresentados pela IA antes da publicação, evitando assim a propagação de informações falsas. Além disso, o feedback fornecido por revisores humanos pode ser usado para refinar os dados de treinamento do modelo, melhorando sua precisão ao longo do tempo.
Então, estes são alguns dos benefícios de reduzir as alucinações nos LLMs:
- A redução das alucinações garante que os sistemas de IA produzam resultados em que os utilizadores podem confiar, aumentando a fiabilidade em aplicações críticas, como cuidados de saúde e aplicação da lei.
- Resultados precisos e consistentes promovem a confiança entre os utilizadores, incentivando uma adoção mais ampla da tecnologia de IA.
- A redução de falsos positivos evita informações imprecisas em domínios como finanças ou medicina, permitindo que os profissionais tomem decisões informadas com base em insights precisos gerados por IA.
- A mitigação de fraudes alinha os sistemas de IA com diretrizes éticas, evitando a propagação de informações falsas ou enganosas.
- Respostas precisas de IA reduzem a necessidade de revisões e ajustes humanos, economizando tempo e recursos no desempenho operacional.
- Lidar com o feedback negativo melhora os dados para treinamento e desenvolvimento de modelos, levando à pesquisa de IA e a avanços tecnológicos.
- Sistemas de IA confiáveis podem ser implantados em ambientes altamente sensíveis e de alto nível, onde a precisão não é negociável.
Em conclusão, estas seis estratégias abordam um aspecto específico do problema das alucinações, proporcionando um quadro amplo para a redução dos danos. Dados de alta qualidade garantem que o modelo tenha uma base confiável para ser construído, enquanto os modelos de dados fornecem um guia sistemático para resultados consistentes. O ajuste dos parâmetros permite respostas personalizadas para atender diferentes aplicações, e a engenharia rápida melhora a clareza e a relevância das perguntas. O RAG introduz uma camada adicional de base factual ao integrar fontes externas de informação, e a supervisão humana serve como uma salvaguarda final contra erros.
Fontes
Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 60k + ML.
🚨 [Must Attend Webinar]: 'Transforme provas de conceito em aplicativos e agentes de IA prontos para produção' (Promovido)
Sana Hassan, estagiária de consultoria na Marktechpost e estudante de pós-graduação dupla no IIT Madras, é apaixonada pelo uso de tecnologia e IA para enfrentar desafios do mundo real. Com um profundo interesse em resolver problemas do mundo real, ele traz uma nova perspectiva para a intersecção entre IA e soluções da vida real.
🚨🚨 WEBINAR DE IA GRATUITO: 'Acelere suas aplicações LLM com deepset e Haystack' (promovido)
