Hug Face lança conversores de frases v3.3.0: um salto gigante para o sucesso da PNL

O Processamento de Linguagem Natural (PNL) desenvolveu-se rapidamente nos últimos anos, com transformadores emergindo como inovações revolucionárias. No entanto, ainda existem desafios significativos ao usar ferramentas de PNL para desenvolver aplicações para tarefas como pesquisa semântica, resposta a consultas ou incorporação de documentos. Uma questão importante tem sido a necessidade de modelos que não sejam apenas eficientes, mas também eficientes para uma variedade de dispositivos, especialmente aqueles com recursos computacionais limitados, como CPUs. Os modelos geralmente exigem maior poder de processamento para produzir maior precisão, e essa compensação muitas vezes deixa os engenheiros escolhendo entre desempenho e desempenho. Além disso, o uso de modelos grandes com funções especializadas pode ser difícil devido a problemas de armazenamento e requisitos de manuseio dispendiosos. Em resposta, a inovação contínua é essencial para continuar a levar as ferramentas da PNL a uma maior eficiência, rentabilidade e usabilidade para um público mais vasto.

Confused Faces acaba de lançar transformadores de frases v3.3.0

Hugging Face acaba de ser lançado Transformadores de frases v3.3.0novamente uma grande atualização com grandes melhorias! Esta versão mais recente está repleta de recursos que abordam problemas de desempenho, melhoram a usabilidade e oferecem novos paradigmas de treinamento. Notavelmente, a atualização v3.3.0 traz uma velocidade de renderização de CPU 4,5x mais rápida ao integrar a quantização estática int8 do OpenVINO. Há também adições para facilitar o treinamento usando informações de otimização de desempenho, integração de métodos de ajuste fino com eficiência de parâmetros (PEFT) e recursos de teste contínuos com NanoBEIR. O lançamento demonstra o compromisso da Hugging Face não apenas em melhorar a precisão, mas também em melhorar a eficiência da computação, tornando esses modelos mais acessíveis para uma ampla gama de aplicações.

Detalhes técnicos e benefícios

As melhorias técnicas no Sentence Transformers v3.3.0 giram em torno de tornar os modelos mais fáceis de usar, mantendo altos níveis de precisão. A integração da quantização estática pós-treinamento OpenVINO permite que os modelos rodem 4,78 vezes mais rápido em CPUs com uma redução média de desempenho de apenas 0,36%. Isto é uma virada de jogo para desenvolvedores que trabalham em ambientes baseados em CPU, como dispositivos de borda ou servidores padrão, onde os recursos de GPU são limitados ou indisponíveis. Uma nova maneira, export_static_quantized_openvino_modelintroduzido para tornar a quantização simples.

Outra característica importante é a introdução da mentoria. Simplesmente adicionando strings como “query:” ou “document:” como comandos durante o treinamento, o desempenho nas tarefas de recuperação é bastante melhorado. Por exemplo, os testes mostram uma melhoria de 0,66% a 0,90% no NDCG@10, uma métrica de avaliação de qualidade de referência, sem qualquer sobrecarga computacional adicional. A adição do suporte PEFT significa que os adaptadores de treinamento além dos modelos básicos são agora mais flexíveis. O PEFT permite o treinamento eficiente de componentes especializados, reduzindo os requisitos de memória e permitindo a implantação barata de múltiplas configurações a partir de um único modelo básico. Foram introduzidas sete novas maneiras de adicionar ou carregar adaptadores, facilitando o gerenciamento de diferentes adaptadores e a alternância entre eles sem problemas.

Por que esta versão é importante

A versão v3.3.0 atende às necessidades urgentes dos profissionais de PNL com o objetivo de equilibrar eficiência, eficácia e usabilidade. A introdução da quantização OpenVINO é essencial para renderizar modelos de transformadores em ambientes de produção com capacidades de hardware limitadas. Por exemplo, uma melhoria de velocidade relatada de 4,78x em algoritmos baseados em CPU torna possível usar incorporação de alta qualidade em aplicações em tempo real onde anteriormente os custos computacionais seriam proibitivos. O treinamento baseado na apreciação também mostra como pequenos ajustes podem trazer benefícios significativos de desempenho. Uma melhoria de 0,66% a 0,90% no desempenho da recuperação é uma melhoria notável, especialmente se puder ser feita sem custo adicional.

A integração PEFT permite mais escalabilidade no treinamento e implantação de modelos. É particularmente benéfico em áreas onde os recursos são compartilhados ou onde há necessidade de treinar modelos especializados com pequena carga computacional. A nova capacidade de teste no NanoBEIR, uma coleção de 13 conjuntos de dados focados em tarefas de recuperação, adiciona uma camada extra para garantir que os modelos treinados usando a v3.3.0 possam ter um bom desempenho em uma variedade de tarefas. Essa estrutura de testes permite que os desenvolvedores validem seus modelos em situações de recuperação do mundo real, fornecendo uma compreensão quantitativa de seu desempenho e facilitando o acompanhamento de melhorias ao longo do tempo.

A conclusão

O lançamento do Sentence Transformers v3.3.0 da Hugging Face é um passo importante para tornar a PNL moderna mais acessível e versátil. Com melhorias massivas na velocidade da CPU com benchmarking OpenVINO, treinamento de suporte rápido para melhorar o desempenho sem custo extra e a introdução do PEFT para gerenciamento de modelo multiescalonável, esta atualização atende a todos os requisitos para os desenvolvedores. Ele garante que os modelos não sejam apenas poderosos, mas também funcionais, versáteis e fáceis de integrar em vários cenários de implantação. Hugging Face continua a ir além, tornando possíveis tarefas complexas de PNL em aplicações do mundo real, ao mesmo tempo que incentiva a inovação que beneficia tanto pesquisadores quanto profissionais da indústria.

Confira Página GitHub. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.

[AI Magazine/Report] Leia nosso último relatório sobre 'MODELOS DE TERRENO PEQUENOS'