Do cálculo à compreensão: perspectivas metacognitivas na resolução de problemas matemáticos baseados em LLM

Grandes modelos linguísticos (LLMs) demonstraram habilidades de raciocínio notáveis ​​em uma variedade de domínios. Mas será que eles também têm conhecimento metacognitivo – compreender os seus processos de pensamento? Esta questão interessante é explorada num novo artigo que investiga as capacidades metacognitivas dos LLMs, particularmente no contexto da resolução de problemas matemáticos. Uma equipe de pesquisadores de Mila, da Universidade de Montreal, da Universidade de Princeton, da Universidade de Cambridge e do Google DeepMind desenvolveu um novo método para extrair e usar todo o conhecimento dos LLMs em habilidades e conceitos matemáticos, com resultados promissores para melhorar a matemática. raciocínio.

Os métodos atuais para melhorar o desempenho do LLM em tarefas matemáticas geralmente dependem de técnicas de informação geral, como o raciocínio linear. Embora eficientes, esses métodos não exploram nenhuma informação metacognitiva que possa existir nos modelos. Os pesquisadores propõem uma nova maneira de explorar a compreensão implícita dos LLMs sobre as habilidades matemáticas. Sua abordagem envolve o uso de um LLM poderoso como o GPT-4 para atribuir rótulos de habilidades bem estruturados a questões matemáticas, seguido de agrupamento semântico para derivar categorias amplas de habilidades. Isso resulta em um “Repositório de exemplos de habilidades” – um conjunto selecionado de perguntas marcadas com rótulos de habilidades interpretativas.

Uma inovação importante é utilizar este repositório durante a interpretação de novos problemas matemáticos. Quando apresentado a uma pergunta, o LLM é primeiro solicitado a identificar a habilidade mais relevante na área final. Exemplos de perguntas/respostas relevantes para essa habilidade são fornecidos como exemplos no carro antes de tentar a solução. Esta abordagem baseada em habilidades foi testada em conjuntos de dados desafiadores, como GSM8K e MATH, que abrangem diversas dificuldades matemáticas. No conjunto de dados MATH, alcançou uma melhoria impressionante de 11,6% em relação à cadeia de raciocínio padrão. Essa abordagem também melhora o desempenho quando combinada com modelos de linguagem de programação (PAL) que geram soluções baseadas em código.

É importante ressaltar que os pesquisadores mostraram que o conhecimento de habilidades extraído de um modelo poderoso como o GPT-4 é efetivamente transferido para melhorar o desempenho de LLMs fracos. Este método também mostrou forte generalização, melhorando os resultados quando aplicado a outros conjuntos de dados de problemas matemáticos além daqueles usados ​​para criar o banco de dados de habilidades. Este estudo fornece evidências convincentes de que os LLMs têm conhecimento metacognitivo significativo sobre a resolução de problemas matemáticos. Ao desenvolver estratégias para extrair e usar essas informações, os pesquisadores abriram novas maneiras interessantes de melhorar as habilidades de pensamento matemático do LLM.

Uma abordagem baseada em competências oferece várias vantagens importantes: permite exemplos altamente direcionados e relevantes dentro do contexto, pode ser perfeitamente integrada com métodos de avaliação existentes e demonstra uma forte transferibilidade entre modelos e conjuntos de dados. Embora haja espaço para melhorias, especialmente no tratamento de problemas multi-habilidades, este trabalho representa um passo importante em direção a um raciocínio matemático mais complexo em sistemas de IA. Além da matemática, a metodologia apresentada pode ser adaptada para descobrir e aplicar conhecimento metacognitivo em outros domínios. Como tal, este estudo avança a nossa compreensão dos processos cognitivos do LLM e aponta para novas direções promissoras para o desenvolvimento de competências globais através do bootstrapping metacognitivo.

Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter de novo LinkedIn. Junte-se a nós Estação telefônica.

Se você gosta do nosso trabalho, você vai gostar do nosso jornal..

Não se esqueça de participar do nosso Mais de 50k ML SubReddit

Shreya Maji é estagiária de consultoria na MarktechPost. Ele obteve seu bacharelado em tecnologia no Instituto Indiano de Tecnologia (IIT), Bhubaneswar. Entusiasta da IA, ele gosta de ficar atualizado sobre os últimos desenvolvimentos. Shreya está particularmente interessado em aplicações reais de tecnologia avançada, especialmente no campo da ciência de dados.