LinkedIn lança kernel Liger (Linkedin GPU Efficient Runtime): uma ferramenta revolucionária que melhora o desempenho do treinamento LLM em mais de 20% e reduz o uso de memória em 60%

O LinkedIn lançou recentemente seu novo design, o Kernel Liger (tempo de execução eficiente de GPU do LinkedIn)é uma coleção de caracteres Triton de alto desempenho projetados especificamente para treinamento de modelo de linguagem grande (LLM). Esta nova tecnologia representa um avanço no aprendizado de máquina, especialmente no treinamento de grandes modelos que requerem grandes recursos computacionais. O Liger Kernel está prestes a se tornar uma ferramenta essencial para pesquisadores, especialistas em aprendizado de máquina e aqueles que desejam melhorar a eficiência de seu treinamento em GPU.

Introdução ao Kernel Liger

O Liger Kernel foi projetado para atender às crescentes demandas de treinamento LLM, melhorando a velocidade e a eficiência da memória. A equipe de desenvolvimento do LinkedIn implementou vários recursos avançados no Liger Kernel, incluindo RMSNorm compatível com Hugging Face, RoPE, SwiGLU, CrossEntropy, FusedLinearCrossEntropy e muito mais. Esses caracteres funcionam bem e são compatíveis com ferramentas amplamente utilizadas, como Flash Attention, PyTorch FSDP e Microsoft DeepSpeed, tornando-os altamente versáteis para uma variedade de aplicações.

Principais recursos e benefícios

Um dos recursos mais notáveis ​​do Liger Kernel é a capacidade de aumentar o treinamento multi-GPU em 20% e, ao mesmo tempo, reduzir o uso de memória em até 60%. Este duplo benefício é alcançado através da integração do kernel, substituição local e métodos de cluster que otimizam os processos computacionais envolvidos no treinamento LLM. O kernel foi projetado para ser leve, com poucas dependências, exigindo apenas Torch e Triton, eliminando as dores de cabeça comuns associadas ao gerenciamento de dependências complexas de software.

A eficiência do Kernel Liger também é demonstrada por sua capacidade de lidar com comprimentos de contexto maiores, tamanhos de heap grandes e nomes grandes sem comprometer o desempenho. Por exemplo, embora os modelos Hugging Face padrão possam apresentar erros de falta de memória (OOM) em 4K, o Liger Kernel pode atingir 16K, aumentando significativamente a capacidade e a capacidade do modelo.

Aplicativos e casos de uso

Liger Kernel é especialmente benéfico para aqueles que trabalham em grandes projetos de treinamento LLM. Por exemplo, ao treinar o modelo LLaMA 3-8B, o Liger Kernel pode atingir um aumento de até 20% na velocidade de treinamento e uma redução de 40% no uso de memória. Isto é especialmente importante para o treinamento em conjuntos de dados como o Alpaca, onde a eficiência computacional pode ter um impacto significativo no custo geral e no tempo necessário para desenvolver um modelo.

Em casos mais avançados, como a fase de retreinamento de um LLM com várias cabeças como o Medusa, o Liger Kernel pode reduzir o uso de memória em impressionantes 80% e, ao mesmo tempo, melhorar o rendimento em 40%. Este desenvolvimento é importante para investigadores e profissionais que pretendem ultrapassar os limites do que é possível com LLMs, permitindo-lhes explorar grandes modelos e estruturas complexas sem limitações de hardware.

Visão geral técnica

O Liger Kernel inclui várias funções importantes baseadas em Triton que melhoram o desempenho do treinamento LLM. Entre eles estão RMSNorm, RoPE, SwiGLU e FusedLinearCrossEntropy, cada um dos quais contribui para a eficiência do kernel. Por exemplo, o RMSNorm é ativado usando a raiz quadrada média. Este processo foi otimizado dentro do Liger Kernel para atingir um aumento de três vezes na velocidade e um maior consumo de memória.

Da mesma forma, RoPE (Rotary Positional Embedding) e SwiGLU (Swish Gated Linear Units) foram implementados com técnicas de recuperação local que reduzem significativamente o uso de memória e aumentam a velocidade computacional. A função de perda CrossEntropy, essencial para muitas tarefas LLM, também é otimizada para reduzir o pico de uso de memória em mais de quatro vezes, ao mesmo tempo que dobra a velocidade de execução.

Facilidade de uso e instalação

Além de seus recursos avançados, o Liger Kernel foi projetado para ser fácil de usar e facilmente integrado aos fluxos de trabalho existentes. Os usuários podem integrar seus modelos Hugging Face existentes com Liger Kernels aprimorados usando apenas uma linha de código. O design leve do kernel também garante compatibilidade com múltiplas configurações de GPU, incluindo PyTorch FSDP e DeepSpeed, sem exigir configuração extensa ou bibliotecas adicionais.

O Liger Kernel pode ser instalado via pip, com versões estáveis ​​e noturnas disponíveis. Essa facilidade de instalação, combinada com dependências mínimas do kernel, torna-o acessível a uma ampla gama de usuários, desde especialistas experientes em aprendizado de máquina até iniciantes curiosos que buscam melhorar sua eficiência de treinamento.

Perspectivas futuras e envolvimento da comunidade

O LinkedIn está comprometido em melhorar continuamente o Liger Kernel e agradece contribuições da comunidade. Ao incentivar a cooperação, o LinkedIn pretende coletar as melhores cartas de treinamento LLM e integrá-las em versões futuras do Liger Kernel. Esta abordagem garante que o kernel permaneça na vanguarda da inovação tecnológica na formação LLM.

A conclusão

O lançamento do Liger Kernel do LinkedIn marca um marco importante no desenvolvimento do treinamento LLM. O Liger Kernel está definido para se tornar uma ferramenta essencial para qualquer pessoa envolvida no treinamento de grandes modelos, fornecendo uma solução altamente eficiente, fácil de usar e flexível. A sua capacidade de melhorar significativamente a velocidade e a eficiência da memória irá, sem dúvida, acelerar o desenvolvimento de LLMs mais avançados e capazes, abrindo caminho para avanços na inteligência artificial.

Confira Github. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal..

Não se esqueça de participar do nosso SubReddit de 49k + ML

Encontre os próximos webinars sobre IA aqui