Grandes modelos de linguagem podem fazer coisas impressionantes, como escrever poesia ou criar programas de computador funcionais, embora esses modelos sejam treinados para prever as próximas palavras em um trecho de texto.
Essas habilidades incríveis podem fazer parecer que os modelos estão aprendendo alguns fatos gerais sobre o mundo.
Mas esse não é realmente o caso, de acordo com um novo estudo. Os pesquisadores descobriram que um tipo popular de modelo generativo de IA pode fornecer instruções de direção passo a passo na cidade de Nova York com precisão quase perfeita – sem criar um mapa preciso do interior da cidade.
Apesar da impressionante capacidade do modelo de navegar com eficiência, quando os pesquisadores fecharam determinadas estradas e acrescentaram desvios, seu desempenho diminuiu.
Quando se aprofundaram, os pesquisadores descobriram que os mapas de Nova York produzidos pelo modelo implícito tinham muitas ruas faltantes que serpenteavam pela grade e se conectavam a cruzamentos distantes.
Isto pode ter consequências graves para os modelos de produtividade de IA implementados no mundo real, uma vez que um modelo que parece ter um bom desempenho numa determinada situação pode falhar se a tarefa ou o ambiente mudar ligeiramente.
“Uma esperança é que, como os LLMs podem fazer todas essas coisas incríveis com a linguagem, talvez possamos usar essas mesmas ferramentas em outras áreas da ciência. Mas a questão de saber se os LLMs aprendem modelos mundiais coerentes é muito importante se quisermos usar esses métodos para fazer novas descobertas”, disse o autor sênior Ashesh Rambachan, professor assistente de economia e investigador principal do Laboratório de Sistemas de Informação e Decisão do MIT. ( I- TAMPAS).
Rambachan é coautor de um artigo sobre o trabalho do autor principal Keyon Vafa, pós-doutorado na Universidade de Harvard; Justin Y. Chen, estudante de graduação em engenharia elétrica e ciência da computação (EECS) no MIT; Jon Kleinberg, professor de Ciência da Computação e Ciência da Informação da Tisch University na Cornell University; e Sendhil Mullainathan, professor do MIT nos departamentos de EECS e Economia e membro do LIDS. A pesquisa será apresentada na Conferência de Sistemas de Processamento de Informação Neural.
Novas métricas
Os pesquisadores se concentraram em um tipo de modelo generativo de IA conhecido como transformador, que forma a espinha dorsal de LLMs como o GPT-4. Os transformadores são treinados em grandes quantidades de dados baseados em linguagem para prever o próximo token em uma sequência, como a próxima palavra em uma frase.
Mas se os cientistas quiserem determinar se o LLM criou um modelo preciso do mundo, medir a precisão das suas previsões não é suficiente, dizem os investigadores.
Por exemplo, eles descobriram que um transformador pode prever um movimento válido em um jogo Connect 4 quase sempre, sem compreender nenhuma regra.
Portanto, a equipe desenvolveu duas novas métricas que podem avaliar o modelo mundial do transformador. Os pesquisadores concentraram seus experimentos em uma classe de problemas chamada automações finitas determinísticas, ou DFAs.
O DFA é um problema com uma sequência de estados, como as interseções que se deve atravessar para chegar ao destino, e uma forma concreta de descrever as regras que se deve seguir ao longo do caminho.
Eles escolheram dois desafios para fazer como DFAs: navegar pelas ruas da cidade de Nova York e jogar o jogo de tabuleiro Othello.
“Precisávamos de bancos de ensaio onde soubéssemos qual era o modelo mundial. Agora podemos pensar profundamente sobre o que significa restaurar esse modelo global”, explicou Vafa.
A primeira métrica que desenvolveram, chamada classificação de sequência, diz que um modelo é um modelo de mundo coerente quando vê duas regiões diferentes, como dois tabuleiros Othello diferentes, e vê como elas diferem. Sequências, isto é, listas ordenadas de pontos de dados, são o que os conversores usam para gerar saída.
A segunda métrica, chamada compressão de sequência, afirma que um transformador com modelo de mundo paralelo deve saber que dois circuitos idênticos, como placas Othello idênticas, têm a mesma sequência de possíveis próximos passos.
Eles usaram essas métricas para testar duas classes comuns de transformadores, uma treinada em dados gerados por sequências geradas aleatoriamente e outra em dados gerados por técnicas sequenciais.
Modelos de mundo discretos
Surpreendentemente, os investigadores descobriram que os transformadores fizeram escolhas para construir modelos mais precisos do mundo, talvez porque viram uma variedade de possíveis próximos passos durante o treino.
“Em Othello, se você vir dois computadores aleatórios jogando em vez de jogadores campeões, em teoria você verá um conjunto completo de movimentos possíveis, até mesmo jogadas ruins que os jogadores de torneios não farão”, explicou Vafa.
Embora os transformadores produzissem direções precisas e movimentos válidos para Otelo em quase todos os casos, as duas métricas revelaram que apenas uma produziu um modelo global consistente do movimento de Otelo, e nenhuma delas funcionou bem na construção de modelos globais consistentes no exemplo do pathfinding.
Os pesquisadores demonstraram as implicações disso adicionando um desvio ao mapa da cidade de Nova York, o que causou a falha de todos os modelos de navegação.
“Fiquei surpreso que o desempenho tenha piorado assim que adicionamos um desvio. “Se bloquearmos apenas um por cento das estradas possíveis, a precisão cai rapidamente de quase 100 por cento para apenas 67 por cento”, disse Vafa.
Quando obtiveram os mapas da cidade produzidos pelos modelos, eles pareciam uma cidade imaginária de Nova York, com centenas de ruas transversais dispostas em uma grade. Os mapas geralmente contêm sobrevoos aleatórios sobre outras estradas ou muitas estradas com formatos impossíveis.
Esses resultados mostram que os transformadores podem ter um desempenho surpreendentemente bom em determinadas tarefas sem compreender as regras. Se os cientistas quiserem construir LLMs que possam capturar modelos globais precisos, terão de adoptar uma abordagem diferente, dizem os investigadores.
“Normalmente, vemos esses modelos fazendo coisas impressionantes e pensamos que entendem algo sobre o mundo. Espero que possamos convencer as pessoas de que esta é uma questão sobre a qual devemos pensar e que não devemos confiar na nossa cultura para respondê-la”, disse Rambachan.
No futuro, os investigadores querem abordar um conjunto de problemas muito diferente, como aqueles em que algumas regras são pouco conhecidas. E querem aplicar suas métricas analíticas a problemas científicos do mundo real.
Este trabalho foi financiado, em parte, pela Harvard Data Science Initiative, uma bolsa de pesquisa de pós-graduação da National Science Foundation, uma bolsa do corpo docente Vannevar Bush, uma bolsa da Simons Collaboration e uma bolsa da Fundação MacArthur.
