Os modelos generativos revolucionaram campos como linguagem, percepção e biologia, aplicando sua capacidade de aprender e amostrar distribuições complexas de dados. Embora esses modelos se beneficiem do aumento do tempo de treinamento ao usar mais dados, recursos computacionais e tamanhos de modelo, sua capacidade de estimar o tempo de decisão enfrenta desafios significativos. Em particular, os modelos de distribuição, que se destacam na geração de dados contínuos como imagens, áudio e vídeos através do processo de extração de ruído, encontram limitações na melhoria de desempenho ao aumentar o número de avaliações de função (NFE) durante a decisão. O método comum de adicionar múltiplas etapas de remoção de ruído impede que esses modelos obtenham melhores resultados, apesar do investimento computacional adicional.
Vários métodos foram explorados para melhorar o desempenho de modelos generativos durante a previsão. A avaliação computadorizada do tempo de avaliação provou ser eficaz em LLMs através do uso de algoritmos de busca avançados, métodos de validação e técnicas de modelagem computacional. Os pesquisadores seguiram muitas direções em modelos de difusão, incluindo métodos de otimização, técnicas de aprendizagem por reforço e uso de otimização de preferência. Além disso, métodos de seleção e otimização de amostras foram desenvolvidos usando algoritmos de busca aleatória, modelos VQA e modelos de preferência populacional. No entanto, essas abordagens podem se concentrar na otimização do tempo de treinamento ou na otimização limitada do tempo de teste, deixando espaço para soluções mais detalhadas para medir o tempo de decisão.
Pesquisadores da NYU, MIT e Google propuseram uma estrutura básica para dimensionar modelos de distribuição durante a inferência. Seu método vai além de simplesmente aumentar as etapas de eliminação de ruído e introduz um novo método baseado em pesquisa para melhorar o desempenho da geração com melhor identificação de ruído. A estrutura funciona em duas escalas principais: usando validadores para obter feedback e usando algoritmos para encontrar os principais números de ruído. Este método aborda as limitações dos métodos convencionais de escalonamento, introduzindo uma forma sistemática de usar recursos computacionais adicionais durante o processo de determinação. A flexibilidade da estrutura permite que as combinações de componentes se adaptem às condições específicas de aplicação.
A implementação do framework concentra-se na geração de ImageNet com critérios de classe usando um modelo SiT-XL pré-treinado com resolução de 256 × 256 e um amostrador Heun de segunda ordem. A arquitetura mantém 250 etapas fixas enquanto explora NFEs adicionais dedicadas à função de busca. O método de busca principal utiliza um algoritmo de busca aleatória, utilizando uma estratégia Best-of-N para selecionar os candidatos sonoros corretos. O programa usa dois validadores Oracle para validação: Inception Score (IS) e Fréchet Inception Distance (FID). A seleção IS é baseada nas probabilidades de classificação mais altas do modelo InceptionV3 pré-treinado, enquanto a seleção FID minimiza a classificação em relação às estatísticas pré-calculadas do recurso ImageNet Inception.
O desempenho da estrutura foi demonstrado através de testes completos em diferentes benchmarks. No DrawBench, que combina uma variedade de dados textuais, os testes do LLM Grader mostram que a pesquisa com diferentes validadores melhora consistentemente a qualidade da amostra, embora em padrões diferentes entre as configurações. ImageReward e Verifier Ensemble apresentam bom desempenho, mostrando melhorias em todas as métricas devido às suas capacidades de multiteste e alinhamento com as preferências humanas. Os resultados revelam uma boa configuração diferente no T2I-CompBench, que se concentra na precisão da informação textual e não na qualidade visual. O ImageReward apresenta o melhor desempenho, enquanto as pontuações estéticas mostram pouco ou nenhum impacto e o CLIP oferece uma melhoria modesta.
Concluindo, os pesquisadores estabeleceram um avanço importante nos modelos de difusão ao introduzir uma estrutura para medir o tempo de inferência através do uso de métodos de busca estratégica. A pesquisa mostra que o escalonamento integrado usando métodos de pesquisa pode alcançar melhorias significativas de desempenho em diferentes sistemas de modelo e tarefas de produção, com diferentes orçamentos de computação exibindo diferentes comportamentos de escalonamento. O estudo conclui que, embora esta abordagem seja eficaz, também introduz preconceitos inerentes em diferentes verificadores e enfatiza a importância do desenvolvimento de métodos de verificação específicos para cada tarefa. Esta visão abre novos caminhos para pesquisas futuras no desenvolvimento de sistemas de verificação altamente direcionados e eficientes para diversas tarefas de geração de visão.
Confira Página de papel e design. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Não se esqueça de participar do nosso SubReddit de 65k + ML.
🚨 [Recommended Read] Nebius AI Studio se estende com modelos de visão, novos modelos de linguagem, embeddings e LoRA (Promovido)
Sajjad Ansari se formou no último ano do IIT Kharagpur. Como entusiasta da tecnologia, ele examina as aplicações da IA com foco na compreensão do impacto das tecnologias de IA e suas implicações no mundo real. Seu objetivo é transmitir conceitos complexos de IA de maneira clara e acessível.
📄 Conheça 'Height': a única ferramenta autônoma de gerenciamento de projetos (patrocinado)
