O rápido desenvolvimento da inteligência artificial (IA) produziu modelos com habilidades poderosas, como compreensão da linguagem e processamento da visão. No entanto, a implementação destes modelos em dispositivos de ponta continua a ser um desafio devido às limitações no poder de computação, memória e eficiência energética. A necessidade de modelos leves que possam funcionar de maneira eficaz em dispositivos de ponta e, ao mesmo tempo, oferecer desempenho competitivo, está crescendo à medida que os casos de uso de IA se expandem para além da nuvem, para dispositivos do dia a dia. Grandes modelos tradicionais costumam consumir muitos recursos, tornando-os ineficazes para dispositivos menores e criando uma lacuna na computação de ponta. Os pesquisadores procuravam maneiras eficazes de levar a IA aos ambientes de ponta sem comprometer a qualidade e a eficiência do modelo.
Pesquisadores da Universidade de Tsinghua lançaram recentemente a série GLM-Edge, uma família de modelos que variam de 1,5 bilhão a 5 bilhões de parâmetros projetados especificamente para dispositivos de ponta. Os modelos GLM-Edge oferecem uma combinação de processamento de linguagem e recursos de visualização, enfatizando a eficiência e a acessibilidade sem sacrificar a funcionalidade. Esta série inclui modelos que abordam aplicações de IA conversacional e de visão, projetadas para lidar com as limitações de dispositivos com recursos limitados.
O GLM-Edge inclui muitas variantes projetadas para diferentes funções e capacidades do dispositivo, fornecendo uma solução com diversas taxas de uso. A série é baseada na tecnologia General Language Model (GLM), que estende sua funcionalidade e modularidade até os limites. À medida que os dispositivos IoT alimentados por IA e as aplicações de ponta continuam a crescer em popularidade, o GLM-Edge ajuda a preencher a lacuna entre a forte IA computacional e as limitações dos dispositivos de ponta.
Detalhes técnicos
A série GLM-Edge baseia-se na arquitetura GLM, otimizada com técnicas de escalonamento e alterações arquitetônicas que a tornam adequada para implantação na borda. Os modelos são treinados usando uma combinação de destilação e remoção de informações, o que permite uma redução significativa no tamanho do modelo, mantendo altos níveis de precisão. Especificamente, os modelos usam codificação de 8 e até 4 bits para reduzir as demandas de memória e computação, tornando-os viáveis para pequenos dispositivos com recursos limitados.
A série GLM-Edge tem duas áreas de foco principais: IA conversacional e tarefas visuais. Os modelos de linguagem são capazes de realizar conversas complexas com latência reduzida, enquanto os modelos de visão suportam diversas tarefas de visão computacional, como detecção de objetos e legenda de imagens, em tempo real. Uma vantagem notável do GLM-Edge é a sua flexibilidade – ele pode combinar recursos linguísticos e visuais em um único modelo, fornecendo uma solução para aplicações multicasos. Os benefícios práticos do GLM-Edge incluem eficiência energética, latência reduzida e a capacidade de executar aplicativos habilitados para IA diretamente em dispositivos móveis, câmeras inteligentes e sistemas embarcados.
A importância do GLM-Edge reside na sua capacidade de tornar recursos complexos de IA acessíveis a uma gama mais ampla de dispositivos do que poderosos servidores em nuvem. Ao reduzir a dependência do poder de computação externo, os modelos GLM-Edge permitem aplicações de IA que são económicas e amigas da privacidade, uma vez que os dados podem ser processados localmente no dispositivo sem necessidade de serem enviados para a nuvem. Isto é especialmente aplicável a aplicações onde a privacidade, a baixa latência e a funcionalidade offline são características essenciais.
Os resultados do teste GLM-Edge mostram um desempenho robusto apesar da contagem reduzida de parâmetros. Por exemplo, o GLM-Edge-1.5B alcançou resultados comparáveis a modelos de transformadores maiores quando testado em NLP padrão e benchmarks de visão, destacando os ganhos de eficiência da otimização cuidadosa do projeto. A série também demonstrou forte desempenho em tarefas relacionadas à borda, como reconhecimento de palavras-chave e análise de vídeo em tempo real, proporcionando um equilíbrio entre tamanho do modelo, latência e precisão.
A conclusão
A série GLM-Edge da Universidade de Tsinghua representa avanços no campo da IA na borda, abordando os desafios dos dispositivos com recursos limitados. Ao fornecer modelos que combinam eficiência com recursos de conversação e visuais, o GLM-Edge permite aplicações de IA de ponta eficientes e eficazes. Esses modelos ajudam a aproximar a visão da IA onipresente da realidade, permitindo que a computação de IA aconteça no dispositivo e possibilitando o fornecimento de soluções de IA mais rápidas, seguras e econômicas. À medida que a adoção da IA continua a se expandir, a série GLM-Edge se destaca como um esforço que aborda os desafios únicos da computação de ponta, fornecendo um caminho promissor para a IA no mundo real.
Confira Página GitHub e modelos em Hugging Face. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.
🎙️ 🚨 'Avaliação de vulnerabilidade de um modelo de linguagem grande: uma análise comparativa de técnicas de clustering vermelho' Leia o relatório completo (Promovido)
Asif Razzaq é o CEO da Marktechpost Media Inc. Como empresário e engenheiro visionário, Asif está empenhado em aproveitar o poder da Inteligência Artificial em benefício da sociedade. Seu mais recente empreendimento é o lançamento da Plataforma de Mídia de Inteligência Artificial, Marktechpost, que se destaca por sua ampla cobertura de histórias de aprendizado de máquina e aprendizado profundo que parecem tecnicamente sólidas e facilmente compreendidas por um amplo público. A plataforma possui mais de 2 milhões de visualizações mensais, o que mostra sua popularidade entre o público.
🧵🧵 [Download] Avaliação do relatório de trauma do modelo de linguagem principal (estendido)
