A abordagem Azure OpenAI da Microsoft fornece uma nova abordagem que otimiza o uso de aprendizagem múltipla, selecionando dinamicamente os exemplos mais relevantes para a entrada de um determinado usuário, melhorando o desempenho e a eficiência. Ao combinar esta abordagem com as fortes capacidades do Azure OpenAI, a Microsoft fornece uma solução flexível para melhorar o resultado do modelo e a utilização de recursos numa variedade de tarefas de PNL.
Compreendendo algumas motivações
O reconhecimento múltiplo é um método no qual um modelo recebe vários exemplos rotulados, “imagens”, para orientar sua geração de resposta. Esta abordagem é útil nos casos em que os dados rotulados são escassos, pois permite que o modelo incorpore informações limitadas sem a necessidade de extensos conjuntos de dados de treinamento. A abordagem de abstração melhora a capacidade do modelo de executar uma variedade de tarefas, tornando-o uma ferramenta poderosa para aplicações que vão desde classificação de texto até resumo e extração de dados. A aprendizagem esparsa tradicional, entretanto, pode encontrar problemas de escala à medida que o número de exemplos aumenta, levando a ineficiências e altos custos computacionais.
Desafios e soluções potenciais
Um dos principais desafios da solicitação estática de poucos disparos é gerenciar o tamanho e a consistência das amostras fornecidas. À medida que o número de exemplos aumenta, o tamanho dos dados pode tornar-se incontrolável, complicando a análise do modelo e aumentando o risco de resultados irrelevantes ou irrelevantes. Para resolver essas limitações, a Microsoft implementou um método dinâmico de notificação de poucos disparos que usa um armazenamento de vetores para armazenar uma lista completa de instâncias. Quando a entrada do usuário é recebida, a entrada é comparada a um armazenamento de vetores usando a incorporação OpenAI para identificar os exemplos mais relevantes, garantindo que apenas os dados mais relevantes sejam incluídos na notificação.
O papel das lojas de vetores e da incorporação OpenAI
A arquitetura deste sistema de reconhecimento dinâmico multi-shot inclui três componentes principais: armazenamento de vetores, modelo de incorporação e modelo GPT. O armazenamento de vetores é responsável por armazenar diversas fotos de amostra. Cada instância possui um índice baseado na entrada, que representa o conteúdo como um par entrada-saída. O modelo de incorporação converte a entrada do usuário em uma representação vetorial, que é então usada para consultar o armazenamento vetorial. Esta etapa garante que apenas os exemplos mais relevantes sejam encontrados e incluídos na notificação.
Um método adaptativo multi-shot alcança alta precisão na seleção de instâncias usando incorporação OpenAI, como o modelo 'text-embedding-ada-002'. Este processo melhora o tamanho dos dados e melhora a consistência das respostas do modelo. Essa abordagem flexível é especialmente benéfica para aplicativos que envolvem diversas tarefas, como conclusão de diálogos, segmentação de texto e resumo.
Usando a técnica dinâmica de poucos disparos
A implementação de algumas implementações poderosas com o Azure OpenAI é simples e requer pouco esforço de codificação. A solução envolve principalmente definir uma lista de exemplos, indexar esses exemplos em um armazenamento de vetores e incorporar a entrada do usuário para identificar os exemplos mais apropriados. A Microsoft fornece uma implementação baseada em Python usando o pacote 'langchain-core', simplificando o processo de seleção incorporando entradas de exemplo e apontando-as para um armazenamento de vetores. A classe 'SemanticSimilarityExampleSelector' do pacote 'langchain-core' seleciona e retorna os exemplos mais semelhantes com base na entrada do usuário.
A implementação real consiste em dois arquivos principais: 'requirements.txt' e 'main.py.' O arquivo ‘requirements.txt’ lista as dependências necessárias, incluindo ‘langchain-openai’, ‘azure-identity’ e ‘numpy’. O script 'main.py' configura as importações necessárias, define o cliente Azure OpenAI e usa o `SemanticSimilarityExampleSelector` para selecionar e recuperar exemplos.
Casos de uso e benefícios
Para ilustrar o uso de alguns dados dinâmicos, considere uma situação em que um modelo de conclusão de diálogo é necessário para lidar com três tarefas: exibir dados em formato tabular, organizar documentos e resumir documentos. Fornecer todos os exemplos relacionados a essas funções em um comando pode levar à sobrecarga de informações e à perda de precisão. Em vez disso, o modelo pode manter a clareza e o foco selecionando dinamicamente os três exemplos mais relevantes, gerando respostas precisas e contextualmente apropriadas.
Esta técnica reduz efetivamente a sobrecarga computacional associada a informações extensas. À medida que menos tokens são processados, o custo geral de execução do modelo é reduzido, tornando esta abordagem econômica e eficiente. Além disso, a abordagem flexível suporta a fácil adição de novos exemplos e casos de uso, o que amplia a flexibilidade e a usabilidade do modelo.
A conclusão
A abordagem dinâmica à aprendizagem esparsa introduzida pela Microsoft com o Azure OpenAI representa uma mudança de paradigma na utilização da aprendizagem esparsa. Ao usar um armazenamento de vetores e incorporar modelos para selecionar dinamicamente os exemplos mais adequados, este método aborda os principais desafios do aprendizado convencional de poucas tentativas, como tamanho rápido e paralelismo. O resultado é um modelo altamente eficiente, escalável e com reconhecimento de contexto que pode fornecer resultados de alta qualidade com o mínimo de dados. Essa técnica é ideal para beneficiar uma variedade de aplicativos de PNL, desde chatbots e assistentes virtuais até programas automatizados de segmentação e resumo de texto.
Confira Detalhes. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal..
Não se esqueça de participar do nosso Mais de 50k ML SubReddit
Interessado em promover sua empresa, produto, serviço ou evento para mais de 1 milhão de desenvolvedores e pesquisadores de IA? Vamos trabalhar juntos!
Sana Hassan, estagiária de consultoria na Marktechpost e estudante de pós-graduação dupla no IIT Madras, é apaixonada pelo uso de tecnologia e IA para enfrentar desafios do mundo real. Com um profundo interesse em resolver problemas do mundo real, ele traz uma nova perspectiva para a intersecção entre IA e soluções da vida real.
