Nightingização pós-treinamento (PTQ) Ele se concentra em reduzir o tamanho e a melhoria da velocidade das grandes línguas dos idiomas (LLMs) para torná -los mais eficazes do mundo. Esses tipos requerem grandes volumes de dados, mas a duração de uma distribuição de dados forte e mais poderosa durante a medição de medições que refletem a grande dificuldade. Isso pode aumentar de forma inadequada uma série de reduções de energia, o que está produzindo, muitos números, mais discursos e desempenho comum no modelo. Embora os métodos de PTQ visam abordar esses problemas, os desafios sempre divulgarão dados ao longo do valor, reduzindo a força da melhoria e impedindo a transmissão.
Os métodos atuais de treinamento pós-treinamento (PTQ) de grandes idiomas (LLS) se concentram no uso de peso e perda de peso. Apenas pesos pesam, como GPTQAssim, Wobilityao lado OWQTente minimizar o uso da memória, reduzindo pequenos erros ou lidando com fornecedores de ativação, mas não conseguiu fazer a precisão de todos os preços. As estratégias são como Germe incluindo Quip # Use matrizes aleatórias e quantidade do vetor, mas permanecem limitadas a gerenciar o envio extremo de dados. O tamanho do desempenho do peso visa acelerar os metais e a ativação. No entanto, os métodos como SuaveAssim, Cedoao lado Cidadão Lutando para gerenciar o primeiro desempenho do trabalho, causando erros em muitos números. No geral, esses métodos dependem dos ouvidos heurísticos e não conseguem aumentar a distribuição de dados ao longo da quantidade, limitando o desempenho e a eficiência.
Lidar com o treinamento dos limites heurísticos para o treinamento de treinamento (PTQ) e a escassez métrica de avaliação da inflação, pesquisadores do Homo AI, Universidade de Nanjing, incluindo A Southlete University proposto Uso médio do espaço de valor (QSUR). O QSUR mede o peso da pílula e disseminando o desempenho da ativação usando a quantidade de valor, fornecendo uma quantidade limitada de testes e melhorando os métodos PTQ. A métrica de mensagens de mensagens de mensagens de texto, como a dekomição de autovalor e elipsóide de auto-estima, para calcular a hipertumulação de peso e a ativação da ativação. A análise QSUR mostra como a transformação e a troca direta afetam a eficiência dos preços, algumas estratégias reduzindo os canais e reduções para reduzir o desempenho.
Os investigadores propuseram IrriererStone O esboço, incluindo alterações ortogonais e medição de alteração para melhorar a perda de peso e as transações. Essa abordagem inclui animais iguais para classificações diagonais e pares de Artogalon, garante a eficiência do computador, mantendo o patrimônio. Ele diminui o esmagador sem comprometer a rede original fora de etapa. IrriererStone usa o aprendizado bloqueado para espalhar a transformação global por toda Llm blocos, usando as estratégias como Lançamento da perda de peso de startup ativa. O caminho está no topo OsurReduz por cima da sobrecarga e melhora a implementação do preço no LLS.
Para fins de teste, os pesquisadores se aplicaram IrriererStone em Llam Família (Lhama-1, llama-2, incluindo Lhama 3) e teste de desempenho usando confusão em Wikitext2 e nove tiros de tiro. Comparado a maneiras como SuaveAssim, GPTQAssim, Cidadãoao lado ColinasAssim, IrriererStone Eles estão sempre separados, ganham pelo menos 99,5% A precisão de um ponto flutuante sob o 4-16-16 para configurar e aplicativos altamente reduzidos. 3-8b entrou apenas em um 0,29-As fitas para baixo em Formas de tirocomparado à perda de excesso 1.55 aponta para outros. Em situações difíceis, Asquant era melhor do que esponja e encontrado tanto quanto 6.53 Pontos por LLAMA-2B no cenário de 4-4-16. O KL-Top Losing Works WOPS fornece uma melhor qualificação da semântica e reduz o áudio, desenvolvendo desempenho e reduzindo espaços no W4A4KV4 por 32% do. Esses resultados mostram que IrriererStone É eficaz no gerenciamento e manifestação de distribuição.
Finalmente, o método proposto promoveu a distribuição da distribuição de dados com base no trabalho de métrica e perda QSUR, o KL-Top, melhora o funcionamento dos principais idiomas. Com baixas informações de medição, reduzindo o som e armazenado no SIMESS de semântica em comparação com as estratégias de luz existentes, alcançando maior desempenho em vários bancos. Essa estrutura pode servir como uma base futura, inicia o processo que contribuirá para o desempenho do uso dos preços e executará modelos eficazes por meio de solicitações que exigem eficiência de recursos.
Enquete o papel. Todo o crédito deste estudo é pesquisado para este projeto. Além disso, não se esqueça de seguir Sane e junte -se ao nosso Estação de telégrafo incluindo LinkedIn grtópico. Não se esqueça de se juntar ao nosso 70k + ml subreddit.
🚨 [Recommended Read] O Nebius AI Studio está aumentando em modelos de observatório, novos modelos de idiomas, incorporação e Lora (Atualizado)
Divyesh é um contato no MarkteachPost. Perseguindo a BTECH para engenheiros agrícolas e alimentares no Instituto Indiano de Tecnologia, Kharagpur. Ele é um amante científico científico e típico que deseja combinar essa tecnologia líder no histórico agrícola e resolver desafios.
✅ [Recommended] Junte -se ao nosso canal de telégrafo
