No espaço rapidamente emergente do aprendizado de máquina e da inteligência artificial, a compreensão das principais representações nos modelos de transformadores surgiu como um importante desafio de pesquisa. Os pesquisadores enfrentam interpretações concorrentes sobre o que os transformadores representam – se funcionam como equações matemáticas, modelos do mundo ou algo mais complexo. A intuição central sugere que os transformadores podem capturar a dinâmica estrutural oculta dos processos de geração de dados, permitindo previsões complexas de tokens. Essa ideia foi significativamente explicada por proeminentes pesquisadores de IA que disseram que a previsão precisa de tokens significa uma compreensão profunda dos fatos básicos da produção. No entanto, os métodos tradicionais carecem de uma estrutura robusta para analisar estas representações computacionais.
A pesquisa existente explorou vários aspectos da representação interna de modelos de transformadores e limitações computacionais. A estrutura “Future Lens” revelou que as regiões ocultas do transformador contêm informações sobre muitos tokens futuros, sugerindo uma representação semelhante ao estado de crença. Os pesquisadores também investigaram representações de transformadores em jogos sequenciais como Othello, interpretando essas representações como potenciais “modelos de mundo” para cenários de jogos. Estudos empíricos mostraram as limitações da função algorítmica de conversores na descoberta de caminhos de grafos e modelos ocultos de Markov (HMMs). Além disso, os modelos preditivos bayesianos tentaram fornecer insights sobre a representação da máquina de estados, traçando conexões com o método de representação de estados mistos na mecânica computacional.
Pesquisadores do PIBBSS, Pitzer and Scripps College e University College London, Timeus propuseram uma nova maneira de compreender a estrutura computacional de modelos linguísticos de grande escala (LLMs) durante a previsão do próximo token. A sua investigação centra-se em descobrir a metadinâmica da revisão de crenças nos contextos ocultos dos processos de geração de dados. Verificou-se que as condições de falta são representadas linearmente nas correntes residuais do transformador com o auxílio da teoria de predição correta, mesmo quando a geometria da condição de falta prevista apresenta estruturas fractais complexas. Além disso, o estudo examina como essas regiões de crença são representadas na distribuição residual final ou distribuídas em fluxos de múltiplas camadas.
O método proposto utiliza um método de avaliação detalhado para analisar os modelos de transformadores treinados nos dados gerados pelo HMM. Os pesquisadores se concentraram em examinar a ativação de fluxo residual em diferentes camadas e locais de janela de contexto, e em criar um conjunto de dados abrangente de vetores de ativação. Para cada cadeia de insumos, a estrutura determina o estado de crença correspondente e sua distribuição de probabilidade relativa sobre os estados ocultos do processo de produção. Os pesquisadores usaram regressão linear para obter um mapa de correlação entre a ativação do fluxo residual e as probabilidades do estado de crença. Este mapeamento é conseguido minimizando a média do erro quadrático entre os estados de crença previstos e verdadeiros, resultando em uma matriz de pesos que gera representações de fluxo residual no simplex de probabilidade.
O estudo revelou informações importantes sobre a arquitetura computacional dos transformadores. A análise de regressão linear revela um subespaço bidimensional dentro da ativação residual de 64 dimensões que se assemelha muito à estrutura fractal prevista dos estados de crença. Essas descobertas fornecem evidências convincentes de que transformadores treinados em dados com propriedades geradoras ocultas aprendem a representar geometrias de estado de crença em suas distribuições residuais. Os resultados empíricos mostraram várias correlações entre a geometria do estado de crença e a previsão do token seguinte em diferentes processos. Com o processo RRXOR, a geometria do estado de crença apresentou forte correlação (R² = 0,95), que supera significativamente a correlação da previsão do próximo token (R² = 0,31).
Concluindo, os pesquisadores apresentam um arcabouço teórico para encontrar uma conexão direta entre a estrutura dos dados de treinamento e as propriedades geométricas das ativações da rede neural do transformador. Ao garantir uma representação geométrica precisa do estado de crença dentro da distribuição residual, o estudo mostra que os transformadores desenvolvem representações preditivas que são mais complexas do que a simples previsão simbólica. O estudo fornece um caminho promissor para melhorar a especificidade, confiabilidade e melhoria potencial do modelo, fortalecendo a relação entre propriedades computacionais e dados de treinamento. Também preenche uma lacuna importante entre as competências comportamentais avançadas dos LLMs e uma compreensão básica da sua dinâmica representacional interna.
Confira eu Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 60k + ML.
🚨 [Must Attend Webinar]: 'Transforme provas de conceito em aplicativos e agentes de IA prontos para produção' (Promovido)
Sajjad Ansari se formou no último ano do IIT Kharagpur. Como entusiasta da tecnologia, ele examina as aplicações da IA com foco na compreensão do impacto das tecnologias de IA e suas implicações no mundo real. Seu objetivo é transmitir conceitos complexos de IA de maneira clara e acessível.
🚨🚨 WEBINAR DE IA GRATUITO: 'Acelere suas aplicações LLM com deepset e Haystack' (promovido)
