Meta AI apresenta COCONUT: uma nova máquina de mudança de paradigma para pensamento sutil contínuo e recursos avançados de programação

Modelos linguísticos de grande escala (LLMs) treinados em conjuntos de dados de linguagem humana simulam habilidades lógicas e de resolução de problemas seguindo métodos sistemáticos. No entanto, os métodos existentes são mais aplicáveis ​​no domínio da linguagem, onde as cadeias de texto expressam claramente os processos de pensamento. Embora tenha sucesso em termos de clareza, esta confiança na linguagem apresenta ineficiências, uma vez que a linguagem natural é naturalmente desenvolvida para comunicação e não para pensamento. A investigação em neurociência reforça esta ideia, mostrando que o pensamento muitas vezes contorna a rede de linguagem no cérebro humano. Estas descobertas destacam o potencial de desenvolvimento de estruturas de pensamento alternativas que libertem os LLMs das restrições linguísticas.

Uma limitação dos métodos de raciocínio baseados em linguagem é a ineficiência computacional. Quando os LLMs processam cadeias lógicas, muitos tokens contribuem para a fluência em vez da lógica real, levando a um desperdício de recursos computacionais. Por outro lado, as etapas do pensamento crítico exigem planejamento e tomada de decisões precisos, que os artistas contemporâneos tentam administrar com sucesso. Esta ineficiência torna-se mais pronunciada à medida que as tarefas de raciocínio se tornam mais complexas ou exigem a avaliação de múltiplas soluções simultaneamente. E, os modelos baseados na linguagem comprometem-se muitas vezes prematuramente com caminhos únicos e prescritivos, limitando a sua capacidade de retroceder ou considerar soluções alternativas. Esta falha dificulta o seu sucesso na resolução de problemas dinâmicos ou experimentais.

O pensamento da Cadeia de Pensamento (CoT) ganhou destaque como forma de abordar essa ineficiência. Ao orientar os LLMs para gerar soluções intermediárias passo a passo na linguagem, o CoT melhora a clareza e a precisão da resolução de problemas. No entanto, permanece limitado pelas restrições da linguagem natural, uma vez que não tem um bom desempenho em tarefas que requerem programação ou avaliação complexa. Inovações recentes procuraram integrar raciocínio implícito, uma técnica que permite aos modelos realizar cálculos não-verbais. Apesar desses avanços, os métodos de raciocínio implícito muitas vezes exigem robustez e robustez para superar os métodos convencionais baseados em linguagem em uma ampla variedade de tarefas.

Pesquisadores da FAIR at Meta, UC San Diego, propõem KUKUNATHI (Chain óf Contraestanhovocênosso Tesperado) para enfrentar esses desafios. COCONUT introduz um novo paradigma que permite aos LLMs pensar num espaço subtil desinibido, transcendendo os limites da linguagem. Ao contrário do CoT tradicional, que agrupa estados mentais como tokens de palavras, o COCONUT usa o último estado oculto do LLM como uma representação contínua do estado mental. Essa representação, chamada de “pensamento persistente”, ele é inserido diretamente no modelo para que possa continuar funcionando sem codificá-lo na linguagem. Ao fazer isso, o COCONUT permite que o modelo processe etapas lógicas de forma eficiente, mantendo a capacidade de explorar vários caminhos de solução.

COCONUT usa um processo de treinamento em vários estágios para desenvolver suas habilidades de pensamento sutil. Durante o treinamento, o modelo alterna entre os modos linguístico e implícito, alternando continuamente etapas de raciocínio baseadas na linguagem com representações implícitas. Por exemplo, na sua fase final de treino, o COCONUT substitui todas as cadeias de raciocínio por pensamento contínuo, permitindo ao modelo resolver problemas completamente no domínio oculto. Esta abordagem é semelhante à abordagem de busca em largura (BFS), onde o modelo avalia múltiplas hipóteses simultaneamente antes de passar para a solução mais promissora. Esta flexibilidade permite à COCONUT enfrentar tarefas complexas que requerem grande planeamento e tomada de decisões.

COCONUT foi validado testando três conjuntos de dados:

1. GSM8k para raciocínio matemático
2. ProntoQA para pensamento lógico
3. ProsQA é um conjunto de dados recém-introduzido que requer manipulação avançada de estruturas gráficas.

Os resultados mostraram que o COCONUT supera os métodos CoT convencionais em termos de precisão e eficiência. Por exemplo, COCONUT alcançou 99,9% de precisão em tarefas de raciocínio lógico, excedeu 98,8% em CoT e gerou menos tokens de raciocínio durante a tomada de decisões. No conjunto de dados ProsQA, o COCONUT mostrou uma clara vantagem em tarefas que exigem planejamento extensivo, CoT de alto desempenho e obtenção de alta precisão com menos recursos computacionais.

Um grande ponto positivo do COCONUT é sua capacidade de combinar vários modos de pensar ao mesmo tempo. O modelo evita o compromisso prematuro com soluções específicas, processando estados de pensamento como pensamentos contínuos. Em vez disso, mantém uma distribuição de possíveis próximos passos, eliminando gradativamente caminhos errados. Este método provou ser particularmente bem-sucedido em tarefas de consultoria de código aberto, como GSM8k, onde o COCONUT alcançou uma precisão de 42,9% em comparação com os 42,0% do CoT.. A flexibilidade de avaliação e regressão dentro do ambiente latente equipa o COCONUT com capacidades de planejamento superiores e o torna adequado para tarefas que envolvem incerteza ou múltiplos caminhos de solução.

As principais conclusões do estudo COCONUT são as seguintes:

• COCONUT superou os métodos tradicionais ao atingir 99,9% de precisão em tarefas de raciocínio lógico (ProntoQA) e 42,9% em tarefas de raciocínio matemático (GSM8k).
• O modelo reduziu o número de tokens de pensamento gerados durante a interpretação, o que mostra a eficiência do computador.
• O raciocínio espacial latente do COCONUT imita o BFS, permitindo que o modelo explore múltiplas soluções e se adapte a tarefas complexas.
• O processo de treinamento em vários estágios permite que a COCONUT enfrente desafios crescentes enquanto mantém o alto desempenho.
• COCONUT se destaca em uma variedade de tarefas de raciocínio, desde problemas matemáticos de domínio aberto até raciocínio lógico sobre estruturas gráficas.

Concluindo, ao introduzir suposições implícitas contínuas, o COCONUT supera as ineficiências dos métodos baseados em linguagem e melhora a eficiência computacional. Sua capacidade de codificar e avaliar múltiplas formas de pensar o torna uma solução ideal para resolver problemas complexos. Assim, COCONUT estabelece uma nova referência para o raciocínio da máquina, com resultados positivos no pensamento lógico e no uso eficiente de tokens.

Confira eu Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Não se esqueça de participar do nosso SubReddit de 60k + ML.

🚨 Tendências: LG AI Research Release EXAONE 3.5: Modelos de três níveis de IA bilíngue de código aberto oferecem seguimento de comando incomparável e insights profundos de conteúdo Liderança global em excelência em IA generativa….

Sana Hassan, estagiária de consultoria na Marktechpost e estudante de pós-graduação dupla no IIT Madras, é apaixonada pelo uso de tecnologia e IA para enfrentar desafios do mundo real. Com um profundo interesse em resolver problemas do mundo real, ele traz uma nova perspectiva para a intersecção entre IA e soluções da vida real.