No mundo em evolução da inteligência artificial, construir modelos de linguagem capazes de replicar a compreensão e o raciocínio humanos continua a ser um grande desafio. Um grande obstáculo ao desenvolvimento de modelos linguísticos de grande escala (LLMs) é equilibrar a eficiência computacional e a escalabilidade. À medida que os modelos crescem para capturar relacionamentos mais complexos e fazer melhores previsões, os custos computacionais aumentam dramaticamente. Enquanto isso, os LLMs de uso geral devem lidar com uma série de tarefas – como seguir instruções, codificação e raciocínio – que muitas vezes têm dificuldade para manter um desempenho consistente em todas as dimensões. Esta inconsistência cria um gargalo perceptível, especialmente para aqueles que pretendem avançar para a inteligência artificial geral (AGI).
Apresentamos a Etapa 2: O modelo MoE de três bilhões de parâmetros
StepFun, uma startup de IA com sede em Xangai focada no desenvolvimento de AGI, foi recentemente promovida Etapa 2modelo de linguagem Mixture of Experts (MoE) de trilhões de parâmetros. Este modelo ganhou atenção ao ficar em 5º lugar no Livebench, a plataforma de benchmarking líder mundial que avalia modelos de IA com base em seu desempenho geral em diversas tarefas. Step-2 é o primeiro modelo MoE multiparâmetro desenvolvido por uma empresa chinesa e classificado como o LLM de melhor desempenho da China. Ela mantém sua posição atrás de outros modelos mais avançados de líderes do setor, como OpenAI e Google. Esta conquista reflete a tecnologia avançada que a StepFun está construindo e seu esforço para contribuir para a comunidade global de IA dentro da China.
Arquitetura e insights técnicos
O modelo Step-2-16k é construído usando a arquitetura MoE, um método de design que se torna mais eficiente computacionalmente em comparação aos modelos tradicionais de densidade total. Expert Mix usa uma abordagem de roteamento que ativa apenas um pequeno conjunto de parâmetros de modelo – especialistas – para qualquer tarefa, permitindo escalonamento de parâmetros sem cálculos computacionalmente incrementais. A escala multiparâmetro permite que o Step-2 capture a compreensão mista da linguagem, proporcionando melhorias significativas nas habilidades instrucionais e nas tarefas de raciocínio. Ele também oferece suporte a um comprimento de contexto de até 16.000 tokens, o que é especialmente útil para aplicativos que exigem dependências de longo prazo, como análise de documentos ou conversas complexas.
Métricas de Desempenho e Áreas de Melhoria
Tecnicamente, o modelo Step-2 apresentou uma série de pontos fortes, com pontuações elevadas em diversas áreas. O modelo obteve pontuação de Acompanhamento (IF) de 86,57, indicando sua capacidade de compreender e agir de acordo com instruções complexas. Além disso, o Step-2 recebeu pontuação de raciocínio 58,67 e pontuação de análise de dados 54,86, destacando suas habilidades no processamento e compreensão de informações. No entanto, o modelo mostrou espaço para melhorias na codificação e nas estatísticas, pontuando 46,87 e 48,88, respectivamente. Apesar dessas áreas que precisam de otimização adicional, o Step-2 usa efetivamente o MoE para equilibrar o escalonamento de parâmetros com a eficiência específica da tarefa. O desenvolvimento do modelo concentra-se principalmente em pesquisa e desenvolvimento (P&D) em vez de marketing, garantindo forte desempenho e confiabilidade mesmo em grande escala.
Importância e acessibilidade
A importância do Step-2 reside na sua escala e vantagem competitiva como o primeiro modelo multiparâmetro desde o início da China a atingir um padrão tão elevado. À medida que a comunidade de IA cresce cada vez mais preocupada com acessibilidade e inclusão, a StepFun tornou o Step-2 acessível através de sua plataforma API, disponibilizando-o para desenvolvedores e pesquisadores. Além disso, o Step-2 está integrado ao aplicativo de consumo “Yuewen”, ampliando seu alcance e dando ao público em geral a oportunidade de interagir com um modelo de linguagem de alta qualidade. A classificação do modelo – 5º no mundo – mostra que as startups chinesas são capazes de produzir sistemas de IA de alta qualidade e sugere um futuro onde vários players contribuam mais para o campo da IA, reduzindo assim a concentração da tecnologia de IA entre apenas algumas empresas do Ocidente.
A conclusão
O Step-2 da StepFun representa um progresso não apenas para a empresa, mas também para a comunidade chinesa de IA. Classificado em 5º lugar no Livebench, Step-2 mostra seus pontos fortes em áreas como próximo comando e consulta, ao mesmo tempo em que destaca áreas onde é necessário mais refinamento, como codificação e análise. Construído na arquitetura MoE e equipado com um milhão de parâmetros, os recursos do Step-2 são uma prova do uso criterioso de arquiteturas avançadas para criar modelos escaláveis e eficientes. Com suas APIs e integrações de consumidor facilmente acessíveis, a Step-2 também demonstra o compromisso da StepFun em levar tecnologia avançada a usuários em todo o mundo. Embora haja trabalho a ser feito, especialmente no desenvolvimento de habilidades de codificação e matemática, trabalhar com a arquitetura Step-2 mostra o crescimento crescente da pesquisa e desenvolvimento de IA em regiões além das potências tradicionais. Essas conquistas posicionam a StepFun como um ator-chave no cenário de IA, preparando o terreno para novos desenvolvimentos em pesquisas de AGI e aplicações industriais.
Confira Detalhes. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.
[FREE AI VIRTUAL CONFERENCE] SmallCon: Conferência Virtual GenAI gratuita com. Meta, Mistral, Salesforce, Harvey AI e mais. Junte-se a nós em 11 de dezembro para este evento de visualização gratuito para aprender o que é necessário para construir grande com pequenos modelos de pioneiros em IA como Meta, Mistral AI, Salesforce, Harvey AI, Upstage, Nubank, Nvidia, Hugging Face e muito mais.
Asif Razzaq é o CEO da Marktechpost Media Inc. Como empresário e engenheiro visionário, Asif está empenhado em aproveitar o poder da Inteligência Artificial em benefício da sociedade. Seu mais recente empreendimento é o lançamento da Plataforma de Mídia de Inteligência Artificial, Marktechpost, que se destaca por sua ampla cobertura de histórias de aprendizado de máquina e aprendizado profundo que parecem tecnicamente sólidas e facilmente compreendidas por um amplo público. A plataforma possui mais de 2 milhões de visualizações mensais, o que mostra sua popularidade entre o público.
🐝🐝 Leia este relatório de pesquisa de IA da Kili Technology 'Avaliação de vulnerabilidade de um modelo de linguagem grande: uma análise comparativa de métodos de passagem vermelha'
