Pesquisadores da KAUST usam exploração de Anderson para aumentar o desempenho da GPU com maior precisão de modelo e precisão padrão

Um aumento na IA significa um aumento nos custos de infraestrutura. A investigação de grandes dimensões e complexa exerce pressão económica sobre as instituições, uma vez que a computação de alto desempenho (HPC) custa muito caro. A HPC é financeiramente onerosa e tem um impacto negativo no consumo de energia e no ambiente. Até 2030, espera-se que a IA represente 2% do consumo global de eletricidade. Novos métodos são necessários para aumentar a eficiência da computação e, ao mesmo tempo, reduzir a repetição na convergência. A extrapolação de Anderson é um método de memória de baixa velocidade que pode ser usado para atingir o objetivo acima. Este artigo analisa as pesquisas mais recentes usando GPUs para maximizar o retorno do investimento em computação.

Pesquisadores da Universidade de Ciência e Tecnologia King Abdullah aplicaram a extrapolação de Anderson sem matriz a GPUs. Eles demonstraram seu impacto nos modelos de treinamento e nos passes para frente (ou seja, na aplicação de suposições aos modelos). O método mencionado acelerou o desempenho da IA ​​ao reutilizar as iterações anteriores para evitar cálculos desnecessários de gradiente, obtendo as vantagens esperadas dos métodos de segunda ordem. Vamos explicar o que Anderson Exploitation significa para estabelecer a base de todo este artigo. É um método de mapeamento vetor a vetor baseado na janela de iteração histórica. Esta técnica é utilizada para acelerar a multiplicação de pontos não focados e é amplamente utilizada na subdisciplina da Física, como Teoria Cinética, Teoria do Funcional da Densidade, etc. Anderson Exploitation é adequado para paralelismo de memória, tornando-o compatível com GPUs. Existem várias bibliotecas de código aberto disponíveis que fornecem esta funcionalidade, como PETSc, SUNDIALS, etc. Ele melhora o desempenho da GPU reutilizando dados vetoriais de estado armazenados em cache, promovendo menos etapas e mais caras.

Para testar o desempenho da teoria acima, os autores usaram redes neurais de equilíbrio profundo. DEQa é uma grande rede neural com um número infinito de camadas. Sua estrutura equilibra múltiplas camadas transparentes com uma única camada implícita com poucos parâmetros usando uma passagem para trás. Este caso ilustra a gama de técnicas de mapeamento vetor a vetor não linear. As técnicas de mapeamento vetor a vetor superam a iteração direta convencional, combinando informações de iterações anteriores para abrir um pequeno espaço pesquisável para gerar a próxima iteração, melhorando a taxa de convergência em detrimento do uso de memória em cada iteração.

Os resultados experimentais mostraram que a aceleração de Anderson atinge maior precisão no treinamento e teste em menos tempo do que a iteração direta. Mostrou poucas flutuações na precisão, especialmente em dados experimentais, em contraste com flutuações rápidas nas iterações diretas, que mostraram mais preenchimento de tempo. Então o Anderson fez a rotina de treinos. Anderson na GPU teve um desempenho muito melhor do que a iteração direta padrão e Anderson nas CPUs. Isso ocorre porque o poder de processamento relativo das GPUs equilibra os custos adicionais de computação de Anderson. No entanto, existe uma compensação entre precisão e tempo de computador. Nesse sentido, seu contador, iterando para frente, manteve o tempo de cálculo constante à medida que o número de épocas aumentava. No caso de Anderson, o aumento no tempo de cálculo com sucessivas iterações veio do processo de redução do resíduo durante cada etapa de aceleração. Mesmo após essa compensação, Anderson melhorou o desempenho do DEQ em uma fração do tempo necessário para que os repetidores diretos se estabilizassem com a mesma precisão.

A conclusão

A aceleração de Anderson melhorou muito a precisão dos modelos Deep Equilibrium e a eficiência computacional e produtividade do modelo. Esta pesquisa mostra um futuro brilhante na aplicação de técnicas de mapeamento vetor a vetor em arquiteturas de CPU e GPU. Mesmo uma pequena aceleração adicional pode ser testada com uma variação do Anderson Exploitation.

Confira Papel.. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.

[Trending] LLMWare apresenta Model Depot: uma coleção abrangente de modelos de linguagem pequena (SLMs) para PCs Intel

Adeeba Alam Ansari está atualmente cursando um diploma duplo no Instituto Indiano de Tecnologia (IIT) Kharagpur, cursando B.Tech em Engenharia Industrial e M.Tech em Engenharia Financeira. Com profundo interesse em aprendizado de máquina e inteligência artificial, ele é um leitor ávido e uma pessoa curiosa. A Adeeba acredita firmemente no poder da tecnologia para capacitar a sociedade e promover o bem-estar através de soluções inovadoras impulsionadas pela empatia e uma compreensão profunda dos desafios do mundo real.