Pesquisadores do Google Cloud e de Stanford propõem CHASE-SQL: uma estrutura de IA para raciocínio multimodal e seleção aprimorada e otimizada de candidatos em Text-to-SQL
Inteligência artificial

Pesquisadores do Google Cloud e de Stanford propõem CHASE-SQL: uma estrutura de IA para raciocínio multimodal e seleção aprimorada e otimizada de candidatos em Text-to-SQL


Uma ponte importante que conecta a linguagem humana e as linguagens de consulta estruturada (SQL) é a conversão de texto em SQL. Com sua ajuda, os usuários podem converter suas consultas de linguagem regular em comandos SQL que o banco de dados pode compreender e executar. Essa tecnologia facilita a interação dos usuários com bancos de dados complexos, o que é especialmente útil para quem não está familiarizado com SQL. Esse recurso melhora a acessibilidade dos dados, permitindo aos usuários extrair os principais recursos de aplicativos de aprendizado de máquina, criar relatórios, obter insights e realizar análises de dados de maneira eficaz.

LLMs são usados ​​no contexto mais amplo de geração de código para gerar um grande número de resultados possíveis dos quais o melhor é escolhido. Embora gerar vários candidatos seja muitas vezes benéfico, o processo de seleção do melhor resultado pode ser difícil e o método de seleção é fundamental para a qualidade do resultado. A pesquisa mostrou que existem diferenças significativas entre as respostas dadas de forma consistente e as respostas corretas reais, indicando a necessidade de melhores estratégias de seleção para melhorar o desempenho.

Para resolver as dificuldades associadas à melhoria da eficiência dos LLMs em operações de texto para SQL, uma equipe de pesquisadores do Google Cloud e de Stanford criou uma estrutura chamada CHASE-SQL, que combina técnicas sofisticadas para melhorar a criação e seleção de consultas SQL. Essa abordagem usa uma abordagem de modelagem multiagente para aproveitar os recursos de cluster dos LLMs durante a avaliação, ajudando a melhorar o processo de geração de candidatos SQL diversificados e de alta qualidade e seleções altamente precisas.

Usando três métodos diferentes, o CHASE-SQL utiliza o conhecimento interno dos LLMs para gerar um grande conjunto de potenciais candidatos SQL. A estratégia de dividir para conquistar, que divide questões complexas em questões menores e administráveis, é a primeira abordagem. Isso torna mais fácil para um único LLM gerenciar com eficácia várias subtarefas em uma única chamada, facilitando o processamento de perguntas que, de outra forma, seriam mais difíceis de responder diretamente.

A segunda abordagem utiliza um modelo lógico hierárquico que simula o desempenho de consulta de um mecanismo de banco de dados. Essa abordagem permite que o modelo gere comandos SQL mais precisos e reflita o fluxo de trabalho de processamento de dados do banco de dados, combinando a lógica LLM com as etapas executadas pelo mecanismo de banco de dados em tempo de execução. Ao usar esse método de geração baseado em lógica, as consultas SQL podem ser melhor projetadas para se alinharem à lógica pretendida da solicitação do usuário.

A fabricação com reconhecimento de modelo é um terceiro método. Usando esse método, o modelo encontra exemplos customizados durante o estudo de diversas imagens específicas para cada questão do teste. Ao melhorar a compreensão do LLM sobre a estrutura e o estado do banco de dados que ele está consultando, esses exemplos permitem uma construção SQL mais precisa. O modelo é capaz de gerar comandos SQL mais eficientes e navegar pelo esquema do banco de dados usando exemplos diretamente relacionados a cada consulta.

Essas estratégias são utilizadas para gerar consultas SQL, e o CHASE-SQL utiliza um agente de seleção para identificar o melhor candidato. Ao comparar as duas entre várias perguntas candidatas, este agente usa um LLM ajustado para determinar qual pergunta é a melhor. O agente de seleção avalia dois pares de questões e decide qual é a melhor como parte do método de classificação binária no processo de seleção. Selecionar o comando SQL correto a partir das oportunidades geradas é possível com esta técnica, pois é mais confiável do que outras técnicas de seleção.

Concluindo, CHASE-SQL estabelece uma nova referência para velocidade de texto para SQL, gerando consultas SQL mais precisas do que os métodos anteriores. Em particular, o CHASE-SQL alcançou classificações de precisão de execução de alto nível de 73,0% no conjunto de teste do conjunto de dados BIRD Text-to-SQL e 73,01% no conjunto de desenvolvimento. Esses resultados estabeleceram o CHASE-SQL como o método principal na tabela de classificação do conjunto de dados, provando quão bem ele pode conectar o SQL em uma linguagem simples com interações complexas de banco de dados.


Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso Mais de 50k ML SubReddit

[Upcoming Event- Oct 17 202] RetrieveX – Conferência de recuperação de dados GenAI (promovida)


Tanya Malhotra está em seu último ano na Universidade de Estudos de Petróleo e Energia, Dehradun, cursando BTech em Engenharia de Ciência da Computação com especialização em Inteligência Artificial e Aprendizado de Máquina.
Ele é um entusiasta de Data Science com forte pensamento analítico e analítico, e grande interesse em adquirir novas habilidades, liderar equipes e gerenciar o trabalho de forma organizada.





Source link

Você também pode gostar...

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *