LLMWare.ai, pioneira no lançamento e otimização de Small Language Models (SLMs), anunciou hoje o lançamento do Hugging Face's Model Depot, uma das maiores coleções de SLMs para PCs Intel. Com mais de 100 modelos cobrindo uma ampla gama de casos de uso, como modelos de conversação, codificação, estatística, chamada de tarefa e incorporação, o Model Depot tem como objetivo fornecer à comunidade aberta de IA uma coleção sem precedentes dos SLMs mais recentes para PCs baseados em Intel. nos formatos OpenVINO e ONNX da Intel.
Usando o LLMWare Model Depot combinado com a biblioteca LLMWare de código aberto que fornece um kit de ferramentas completo para o desenvolvimento de fluxos de trabalho habilitados para IA de ponta a ponta, os desenvolvedores podem criar geração aumentada de recuperação (RAG) e fluxos de trabalho baseados em agentes usando SLMs no OpenVINO da Intel formatar. usuários de hardware. OpenVINO é uma biblioteca de código aberto para desenvolver e implementar recursos de análise de modelos de aprendizagem profunda, incluindo modelos de linguagens grandes e pequenas. Projetado especificamente para reduzir a demanda de recursos para uso eficiente em diversas plataformas, incluindo PCs e dispositivos de IA, o OpenVINO oferece suporte à regressão de modelo em CPUs, GPUs e NPUs Intel.
Da mesma forma, ONNX oferece um formato de código aberto para modelos de IA, tanto de aprendizagem profunda quanto de ML tradicional, com foco atual no poder necessário para a abstração. ONNX pode ser encontrado em muitas plataformas, ferramentas e hardware e tem como objetivo permitir a interoperabilidade entre diferentes plataformas.
Em um white paper recente, a LLMWare descobriu que o uso de modelos de linguagem pequena com escala de 4 bits (parâmetros 1B-9B) no formato OpenVINO aumenta o desempenho do modelo em PCs Intel AI. Quando testado em um laptop Dell com Intel Core Ultra 9 (Meteor Lake), usando o modelo BLING-Tiny-Llama de parâmetro 1.1B, o formato de benchmarking OpenVINO resultou em velocidades de processamento até 7,6x mais rápidas que o PyTorch e até 7,5x. mais rápido que o GGUF.
As comparações sempre usam o teste RAG de 21 perguntas do LLMWare. O tempo de processamento mostra o tempo total de processamento para todas as 21 consultas:
Informações detalhadas sobre a metodologia de avaliação do LLMWare podem ser encontradas no white paper.
O objetivo do LLMWare é fornecer uma camada poderosa para implementar vários recursos analíticos. Ao oferecer suporte a OpenVINO, ONNX e Llama.cpp em um só lugar, os desenvolvedores podem usar formatos de modelo que funcionam melhor com os recursos específicos do hardware do usuário alvo. Através do Model Depot, os desenvolvedores de PCs Intel têm acesso a SLMs especialmente configurados para depurar hardware Intel.
Fornecendo suporte OpenVINO e ONNX para os SLMs mais populares da atualidade, incluindo Microsoft Phi-3, Mistal, Llama, Yi e Qwen e uma função especial do LLMWare para chamar modelos SLIM projetados para fluxos de trabalho passo a passo e a exclusiva família DRAGON RAG e BLING de modelos, o LLMWare fornece aos desenvolvedores SLM a criação fácil e contínua de fluxos de trabalho de desenvolvimento de produtos que maximizam os recursos locais dos PCs de IA.
Equipados com poderosas GPUs e NPUs integradas que fornecem o poder de hardware para permitir que aplicativos de IA sejam executados no dispositivo, os PCs de IA permitem que as empresas implantem muitos aplicativos leves de IA localmente, sem expor dados confidenciais ou a necessidade de cópias de dados para sistemas externos. Isso abre enormes benefícios em segurança adicional, proteção e economias significativas.
A LLMWare anunciou recentemente sua parceria estratégica com a Intel ao apresentar o Model HQ em versão limitada para pré-visualizações privadas. Projetado especificamente para PCs de IA com processadores Intel Core Ultra, o Modelo HQ fornece um kit sem código pronto para uso para executar, criar e implantar aplicativos habilitados para IA com UI/UX integrado e fluxos de trabalho de agente de baixo código para que houvesse um simples aplicativo. criação. Com recursos integrados de chatbot e pesquisa e análise de documentos, o aplicativo vem pronto para uso, com a capacidade de executar fluxos de trabalho personalizados diretamente no dispositivo. O Model HQ também vem com muitos recursos de segurança e proteção adequados para negócios, como Model Vault para testes de segurança de modelos, Model Safety Monitor para testes de toxicidade e preconceito, detector de alucinações, dados de explicabilidade de IA, kit de ferramentas de conformidade e teste, filtros de privacidade e muito mais.
“Na LLMWare, acreditamos fortemente na redução do centro de gravidade da IA para permitir implantações locais, privadas, distribuídas e autossustentáveis – com modelos de alta qualidade e pipelines de dados otimizados para otimização de custos segura, controlada e leve. Aplicativos , RAG, Agent e Chat personalizados para empresas de todos os tamanhos. Estamos muito entusiasmados em apresentar a coleção Model Depot em código aberto para expandir o acesso aos modelos empacotados OpenVino e ONNX para oferecer suporte a lançamentos de AI PC nos próximos meses”, disse Darren Oberst, diretor de tecnologia da LLMWare.
“A ascensão da IA generativa está abrindo novas experiências de aplicação que não estavam disponíveis nas gerações anteriores de algoritmos de processamento de dados. A combinação única de uma poderosa plataforma AI PC e software de otimização como o OpenVINO é uma maneira de obter os melhores recursos para implantar LLMs gerenciados localmente e de forma privada, sem pensar em detalhes de otimização. A plataforma LLMWare vai além, permitindo o uso de blocos de construção de software e modelos pré-treinados para implementar o processamento de dados dentro do aplicativo ponta a ponta e economizar tempo de marketing. A combinação da plataforma OpenVINO e LLMWare realmente libera o poder da IA generativa que funciona melhor na borda dos aplicativos”, disse Yury Gorbachev, Intel Fellow e OpenVINO Architect da Intel.
Visite os sites Github e Hugging Face da LLMWare para obter uma biblioteca completa de código aberto e uma coleção de modelos de linguagem pequena e llmware.ai para obter os white papers e blogs mais recentes.
Obrigado à AI Bloks pelo artigo sobre liderança inovadora/Educação. AI Bloks nos apoiou neste conteúdo/artigo.
Asif Razzaq é o CEO da Marktechpost Media Inc. Como empresário e engenheiro visionário, Asif está empenhado em aproveitar o poder da Inteligência Artificial em benefício da sociedade. Seu mais recente empreendimento é o lançamento da Plataforma de Mídia de Inteligência Artificial, Marktechpost, que se destaca por sua ampla cobertura de histórias de aprendizado de máquina e aprendizado profundo que parecem tecnicamente sólidas e facilmente compreendidas por um amplo público. A plataforma possui mais de 2 milhões de visualizações mensais, o que mostra sua popularidade entre os telespectadores.
Ouça nossos podcasts e vídeos de pesquisa de IA mais recentes aqui ➡️
