Pesquisadores da UC Berkeley lançam uma prévia do Sky-T1-32B: um LLM de pensamento aberto treinado abaixo de US$ 450 supera o OpenAI-o1 em benchmarks como Math500, AIME e Livebench

O rápido desenvolvimento da inteligência artificial abriu novas oportunidades, mas os custos associados limitam muitas vezes quem pode beneficiar desta tecnologia. Modelos de grande escala, como GPT-4 e o1 da OpenAI, demonstraram capacidades impressionantes de raciocínio e linguística, mas o seu desenvolvimento e formação continuam a ser um fardo financeiro e computacional. Isto cria barreiras para pequenas organizações, instituições académicas e investigadores independentes. Além disso, a natureza de fonte fechada de muitos modelos de desenvolvimento limita o amplo acesso, limitando as oportunidades de inovação colaborativa. Isto levanta uma questão importante: como tornar a tecnologia avançada de IA acessível a um público mais vasto sem comprometer a qualidade?

Para responder a esses desafios, pesquisadores da UC Berkeley introduziram o Sky-T1-32B, um modelo de linguagem baseado em lógica de código aberto e econômico. Uma característica marcante do Sky-T1 é seu preço acessível – o modelo pode ser treinado por menos de US$ 450. Com 32 bilhões de parâmetros, o modelo foi cuidadosamente projetado para equilibrar eficiência e robustez computacional. O processo de desenvolvimento enfatiza métodos eficientes e eficazes, incluindo escalonamento avançado de dados e pipelines de treinamento estabelecidos, tornando-o competitivo com modelos grandes e que consomem muitos recursos.

A natureza de código aberto do Sky-T1 incentiva a inclusão na pesquisa e desenvolvimento de IA. Ao disponibilizar gratuitamente o processo de construção e o treinamento do modelo, a equipe da UC Berkeley pretende permitir que pesquisadores e desenvolvedores de todo o mundo personalizem e usem o Sky-T1 em uma variedade de casos de uso. Este programa aborda as antigas limitações criadas por sistemas proprietários e abre caminho para o desenvolvimento colaborativo em IA.

Detalhes técnicos e principais benefícios

Sky-T1 alcança rentabilidade através de uma série de técnicas técnicas cuidadosamente implementadas. O processo de treinamento deste modelo depende de técnicas avançadas de estimativa de dados e otimização de parâmetros, que garantem uma utilização eficaz dos recursos. Métodos como baixa computação e adaptação de baixo nível (LoRA) reduzem a memória do modelo e os requisitos computacionais sem comprometer o desempenho. Além disso, sua estrutura inclui treinamento focado no raciocínio, o que melhora sua capacidade de lidar com expressões lógicas e tarefas complexas de resolução de problemas.

Os principais benefícios do Sky-T1 incluem:

1. Acessibilidade: Os custos de treinamento abaixo de US$ 450 tornam o Sky-T1 acessível a uma ampla gama de usuários, incluindo pequenas instituições e desenvolvedores individuais.
2. Acesso aberto: O design de código aberto incentiva a colaboração e a personalização, quebrando barreiras à inovação.
3. Melhorando o pensamento: Ao contrário dos LLMs de uso geral, o Sky-T1 é otimizado para tarefas cognitivas, tornando-o altamente eficaz em educação, pesquisa e tomada de decisão automatizada.
4. Sustentabilidade: Os reduzidos requisitos computacionais do modelo são compatíveis com os objetivos de sustentabilidade ambiental através da redução do consumo de energia.

Testes de desempenho e especificações

O Sky-T1 é testado em benchmarks estabelecidos, como Math500, AIME e Livebench, que testam habilidades de raciocínio e resolução de problemas. Em tarefas moderadas e intensivas entre esses benchmarks, o Sky-T1 supera o O1 da OpenAI, um concorrente proeminente em IA cognitiva. Por exemplo, no Math500 – um benchmark de raciocínio matemático – o Sky-T1 mostra maior precisão enquanto requer menos recursos computacionais.

A flexibilidade do modelo é outra conquista importante. Apesar do seu tamanho modesto, o Sky-T1 integra-se bem em uma variedade de tarefas de imagem. Essa flexibilidade se deve aos seus dados de pré-treinamento de alta qualidade e ao foco deliberado em objetivos orientados para o pensamento. Além disso, o processo de treinamento, que requer apenas 19 horas, destaca a possibilidade de desenvolver modelos de alto desempenho de forma rápida e econômica.

Conclusão: um caminho em direção a um eu integrado

O modelo Sky-T1 da UC Berkeley representa um passo lógico para tornar a tecnologia avançada de IA acessível e acessível. Ao reduzir significativamente os custos de formação e fornecer uma estrutura de código aberto, o Sky-T1 tem o potencial de revolucionar a forma como a IA é desenvolvida e implementada. Seu desempenho em benchmarks de imagem mostra que o preço acessível não precisa ser uma compensação pela qualidade. À medida que o Sky-T1 ganha força entre investigadores e programadores, poderá estimular uma onda de inovação que alargue os benefícios da IA ​​a setores e comunidades carenciados. Nesse sentido, o Sky-T1 é mais que uma conquista técnica; um plano para um futuro de IA inclusivo.

Confira modelo na página Hugging Face, Details e GitHub. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Não se esqueça de participar do nosso SubReddit de 65k + ML.

🚨 Recomendar plataforma de código aberto: Parlant é uma estrutura que está mudando a forma como os agentes de IA tomam decisões em situações voltadas para o cliente.

Asif Razzaq é o CEO da Marktechpost Media Inc. Como empresário e engenheiro visionário, Asif está empenhado em aproveitar o poder da Inteligência Artificial em benefício da sociedade. Seu mais recente empreendimento é o lançamento da Plataforma de Mídia de Inteligência Artificial, Marktechpost, que se destaca por sua ampla cobertura de histórias de aprendizado de máquina e aprendizado profundo que parecem tecnicamente sólidas e facilmente compreendidas por um amplo público. A plataforma possui mais de 2 milhões de visualizações mensais, o que mostra sua popularidade entre o público.