Source2Synth: uma nova abordagem de IA para geração e edição de dados sintéticos com base em fontes de dados reais

Modelos de Linguagem em Grande Escala (LLMs) mostraram desempenho notável em tarefas como Processamento de Linguagem Natural, geração e síntese de texto. Porém, ainda enfrentam grandes dificuldades nas situações mais complexas. São tarefas que exigem o uso de ferramentas para resolver problemas, lidar com dados estruturados ou realizar raciocínios complexos em várias etapas. Por exemplo, embora os LLMs tenham a capacidade de compreender texto não estruturado, têm dificuldade em utilizar e interpretar dados estruturados, tais como folhas de cálculo, tabelas e bases de dados. Além disso, o desempenho abaixo da média é frequentemente alcançado em tarefas como resposta a consultas multi-hop (MHQA), que exigem a combinação de dados de diversas fontes. Da mesma forma, os LLMs ainda consideram um desafio concluir tarefas que exigem o uso de ferramentas, incluindo o uso de SQL para responder a consultas de tabelas.

Para superar esses problemas, um novo método chamado Source2Synth foi introduzido por pesquisadores da Meta, da Universidade de Oxford e da University College London. A principal vantagem do Source2Synth é a sua capacidade de transferir novas habilidades para LLMs sem a necessidade de anotações humanas caras e demoradas. Os métodos convencionais de otimização de desempenho do LLM geralmente exigem muitas anotações manuais, que são caras e difíceis de medir, especialmente para tarefas complexas. Este requisito é removido pelo Source2Synth, que cria dados sintéticos que simulam situações reais e processos de pensamento.

Para criar simulações com etapas intermediárias de raciocínio, o Source2Synth utiliza uma fonte de dados específica, como tabelas da Internet ou artigos relevantes. Como esses exemplos são baseados em dados reais, é garantido que os dados sintéticos sejam únicos, realistas e factualmente corretos. A etapa principal do método é criar um tópico inicial, que pode ser uma declaração comercial ou factual, e então desenvolvê-lo em um exemplo completo. Um exemplo contém as instruções da tarefa, as etapas necessárias para resolver o problema usando o raciocínio e a solução. Através deste processo, Source2Synth é capaz de gerar pontos de dados complexos e realistas que imitam como os LLMs devem lidar com dados estruturados ou executar tarefas de várias etapas.

O método usado pelo Source2Synth para melhorar a qualidade do conjunto de dados é uma parte importante. Amostras de baixa qualidade podem prejudicar o desempenho do modelo e nem todos os pontos de dados gerados são igualmente importantes. Para resolver isso, Source2Synth usa técnicas de filtragem que são determinadas pela capacidade de resposta das condições do sintetizador. Por exemplo, uma amostra é descartada se os dados gerados não capturarem a resposta correta dentro de um determinado número de tentativas. Este processo de controle de qualidade garante que apenas os melhores exemplos, aqueles que auxiliam na aquisição das competências exigidas pelo LLM, sejam mantidos para a rodada final de ajuste fino.

Esta técnica é usada em dois campos diferentes e difíceis, os seguintes,

1. Resposta a perguntas multi-hop (MHQA): Para responder a uma única pergunta, o LLM neste domínio analisa e integra dados de diversas fontes. Quando o Source2Synth foi testado no HotPotQA, um conjunto de dados criado para raciocínio multi-hop, ele superou os modelos de linha de base otimizados por técnicas convencionais em 22,57%.

2. Responder a perguntas com dados estruturados é conhecido como resposta de perguntas tabulares (TQA) e geralmente chama consultas SQL para interagir com tabelas. WikiSQL é um banco de dados que se concentra no uso de SQL para responder perguntas sobre tabelas. Source2Synth foi testado nele e obteve uma melhoria de 25,51% em relação aos modelos básicos.

Os resultados mostraram como o Source2Synth pode aumentar o desempenho do LLM em tarefas desafiadoras sem exigir um grande número de anotações humanas em conjuntos de dados. Para treinar LLMs em domínios que exigem raciocínio complexo e uso de ferramentas, Source2Synth fornece uma abordagem escalonável, gerando exemplos realistas e fundamentados e filtrando rigorosamente o conjunto de dados para garantir alta qualidade.

Concluindo, Source2Synth é uma forma única de transmitir novas informações aos LLMs, especialmente em situações onde a anotação humana não é possível. Esta estratégia resolve os desafios atuais dos LLMs em tarefas complexas, como raciocínio em várias etapas e manipulação sistemática de dados, garantindo que apenas exemplos de alta qualidade sejam usados ​​para otimização e concentrando a geração de dados sintéticos em fontes do mundo real para validação.

Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal..

Não se esqueça de participar do nosso Mais de 50k ML SubReddit

⏩ ⏩ WEBINAR GRATUITO DE IA: ‘Vídeo SAM 2: Como sintonizar seus dados’ (quarta-feira, 25 de setembro, 4h00 – 4h45 EST)