Snowflake anunciou recentemente o lançamento do Ártico Incorporar L 2.0 de novo Ártico Incorporar M 2.0dois modelos incorporáveis pequenos e poderosos projetados para pesquisa e descoberta multilíngue. Os modelos Arctic Embed 2.0 estão disponíveis em dois tamanhos diferentes: médio e grande. Com base na estrutura GTE multilíngue do Alibaba, o modelo médio inclui 305 milhões de parâmetros, o que significa que 113 milhões deles não são incorporáveis. A maior variante baseia-se na conversão de conteúdo XMLR-Large do Facebook e inclui 568 milhões de parâmetros, incluindo 303 milhões de parâmetros não incorporados. Ambos os modelos suportam comprimentos de contexto de até 8.192 tokens, tornando-os flexíveis para aplicações que exigem amplo entendimento do contexto.
A inovação por trás do Arctic Embed 2.0 reside em sua capacidade de fornecer acesso de alta qualidade em vários idiomas, mantendo as capacidades anteriores de alto acesso em inglês. A equipe da Snowflake equilibra cuidadosamente esses requisitos multilíngues, permitindo que o Arctic Embed 2.0 supere até mesmo modelos somente em inglês em benchmarks de língua inglesa, como o benchmark de recuperação MTEB. Além disso, esses modelos mostraram desempenho impressionante em benchmarks de vários idiomas, incluindo CLEF e MIRACL, alcançando altas pontuações nDCG@10 em idiomas como alemão, francês, espanhol e italiano.
Apesar do seu tamanho compacto em relação a outros modelos de borda, os modelos Arctic Embed 2.0 proporcionam uma incorporação rápida. Os testes nas GPUs NVIDIA A10 revelaram a capacidade do modelo grande de processar mais de 100 documentos por segundo com consultas de incorporação de menos de 10 ms. Esta eficiência permite a implementação em hardware barato, uma vantagem significativa para empresas que lidam com dados em grande escala. A versão também inclui recursos avançados, como Matryoshka Representation Learning (MRL), um método projetado para tal recuperação. Com o MRL, os usuários podem compactar embeddings para menos de 128 bytes por vetor, uma taxa de compactação 96 vezes menor do que os embeddings compressíveis de outros modelos proprietários, como o text-embedding-3-large da OpenAI.
O Arctic Embed 2.0, lançado sob a licença Apache 2.0, permite que as organizações modifiquem e implantem modelos, garantindo ampla funcionalidade em vários setores e casos de uso. Esta medida sublinha o compromisso da Snowflake com ferramentas democráticas de IA, conforme destacado por Clément Delanggue, CEO da Hugging Face, que elogiou a contribuição destes modelos para a comunidade global de IA. Os modelos líderes em testes de domínio, como MIRACL e cenários fora de domínio, testados com benchmarks CLEF. Esta integração é uma melhoria significativa em relação aos modelos anteriores, que muitas vezes mostravam uma tendência de sobreajuste em determinados conjuntos de dados.
Comparado a outros modelos proprietários e de código aberto, o Arctic Embed 2.0 é líder na qualidade de aquisição multilíngue e em inglês. Enquanto outros modelos existentes forçam os usuários a escolher entre manter a recuperação de inglês de alto desempenho ou adicionar complexidade operacional para obter suporte para vários idiomas, o Arctic Embed 2.0 oferece uma solução abrangente. Sua incorporação multilíngue elimina a necessidade de modelos separados, simplificando os fluxos de trabalho e alcançando resultados de alta qualidade. Um dos destaques deste lançamento é o suporte para trazer o negócio de volta à escala. A incorporação combinada de modelos e a funcionalidade robusta os tornam ideais para empresas que desejam gerenciar grandes coleções de documentos com eficiência.
Concluindo, o Arctic Embed L 2.0 e o Arctic Embed M 2.0 representam um salto em frente nos modelos de incorporação multilíngues. Com eficiência, escalabilidade e qualidade incomparáveis, esses modelos estabelecem um novo padrão para operações de recuperação em escala global. O lançamento do Snowflake capacita as organizações a enfrentar os desafios multilíngues de forma mais eficaz e reforça seu papel como pioneira no cenário da IA.
Confira eu Arctic Embed L 2.0 e Arctic Embed M 2.0. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 60k + ML.
🚨 [Must Attend Webinar]: 'Transforme provas de conceito em aplicativos e agentes de IA prontos para produção' (Promovido)
Asif Razzaq é o CEO da Marktechpost Media Inc. Como empresário e engenheiro visionário, Asif está empenhado em aproveitar o poder da Inteligência Artificial em benefício da sociedade. Seu mais recente empreendimento é o lançamento da Plataforma de Mídia de Inteligência Artificial, Marktechpost, que se destaca por sua ampla cobertura de histórias de aprendizado de máquina e aprendizado profundo que parecem tecnicamente sólidas e facilmente compreendidas por um amplo público. A plataforma possui mais de 2 milhões de visualizações mensais, o que mostra sua popularidade entre os telespectadores.
🚨🚨 WEBINAR DE IA GRATUITO: 'Acelere suas aplicações LLM com deepset e Haystack' (promovido)
