Os modelos de linguagem generativa enfrentam desafios persistentes durante a transição do treinamento para o uso prático. Outra dificuldade importante é integrar esses modelos para que funcionem bem durante a previsão. Os métodos atuais, como o Aprendizado por Reforço com Feedback Humano (RLHF), concentram-se em melhorar as taxas de vitória em comparação com o modelo de linha de base. No entanto, eles tendem a ignorar o papel das técnicas conceituais de decodificação de tempo, como amostragem Best-of-N e decodificação supervisionada. Esta incompatibilidade entre os objetivos da formação e as aplicações no mundo real pode levar a ineficiências, afetando a qualidade e a fiabilidade dos resultados.
Para enfrentar esses desafios, pesquisadores do Google DeepMind e do Google Research desenvolveram o InfAlign, uma estrutura de aprendizado de máquina projetada para alinhar modelos de linguagem com técnicas cognitivas. O InfAlign incorpora métodos em tempo real no processo de alinhamento, com o objetivo de preencher a lacuna entre o treinamento e a implementação. Isso é feito usando um método de aprendizagem por reforço equilibrado que ajusta as funções de recompensa com base em estratégias cognitivas específicas. InfAlign funciona melhor para técnicas como amostragem Best-of-N, onde múltiplas respostas são geradas e a melhor é selecionada, e Worst-of-N, que é frequentemente usada para testes de segurança. Esta abordagem garante que os modelos alinhados funcionem bem tanto em ambientes controlados como em situações do mundo real.
Detalhes técnicos e benefícios
No centro do InfAlign está o algoritmo Calibrate-and-Transform Reinforcement Learning (CTRL), que segue um processo de três etapas: estimar pontos de recompensa, transformar esses pontos com base em técnicas de raciocínio e resolver um problema de otimização controlado por KL. Ao adaptar as mudanças de recompensa a situações específicas, o InfAlign alinha os objetivos de treinamento com as necessidades cognitivas. Este método melhora as taxas de ganho de tempo de processamento enquanto mantém a eficiência do computador. Além das métricas de desempenho, o InfAlign adiciona robustez, permitindo que os modelos lidem com várias estratégias de decodificação de maneira eficaz e produzam resultados consistentes e de alta qualidade.
Resultados e especificações de potência
O desempenho do InfAlign é demonstrado usando os conjuntos de dados de utilidade e inocuidade da Antrópica. Neste teste, o InfAlign melhorou as taxas de ganho no tempo de reflexão em 8-12% nas amostras Máximo de N e em 4-9% nos testes de segurança Pior-de-N em comparação com os métodos existentes. Essa melhoria se deve às mudanças limitadas nas recompensas, que abordam a imprecisão do modelo de recompensas. A estrutura minimiza erros absolutos e garante desempenho consistente em todas as diferentes situações, tornando-a uma solução confiável e flexível.
A conclusão
O InfAlign representa um avanço significativo na compreensão de modelos de linguagem generativa em aplicações do mundo real. Ao combinar técnicas cognitivas, aborda a tensão crítica entre o treinamento e a implantação. A sua forte base teórica e resultados empíricos destacam o seu potencial para desenvolver plenamente a compreensão do sistema de IA. À medida que os modelos generativos são cada vez mais utilizados em diversas aplicações, estruturas como o InfAlign serão importantes para garantir eficiência e confiabilidade.
Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Não se esqueça de participar do nosso SubReddit de 60k + ML.
🚨 PRÓXIMO WEBINAR GRATUITO DE IA (15 DE JANEIRO DE 2025): Aumente a precisão do LLM com dados artificiais e inteligência experimental–Participe deste webinar para obter insights práticos sobre como melhorar o desempenho e a precisão do modelo LLM e, ao mesmo tempo, proteger a privacidade dos dados.
Asif Razzaq é o CEO da Marktechpost Media Inc. Como empresário e engenheiro visionário, Asif está empenhado em aproveitar o poder da Inteligência Artificial em benefício da sociedade. Seu mais recente empreendimento é o lançamento da Plataforma de Mídia de Inteligência Artificial, Marktechpost, que se destaca por sua ampla cobertura de histórias de aprendizado de máquina e aprendizado profundo que parecem tecnicamente sólidas e facilmente compreendidas por um amplo público. A plataforma possui mais de 2 milhões de visualizações mensais, o que mostra sua popularidade entre o público.
🧵🧵 [Download] Avaliação do relatório de trauma do modelo de linguagem principal (estendido)
