As redes neurais profundas são ferramentas poderosas que levam ao aprendizado de padrões complexos, mas entender como elas compactam os dados de entrada em representações significativas continua sendo um problema de pesquisa desafiador. Pesquisadores da Universidade da Califórnia, em Los Angeles, e da Universidade de Nova York propõem uma nova métrica, chamada localidade, para medir o grau de redundância de recursos nas redes neurais. Eles mostram que à medida que o treinamento avança, especialmente durante os estágios finais, a qualidade espacial tende a diminuir, indicando que a rede está efetivamente comprimindo os dados que aprendeu. O artigo apresenta uma análise teórica e evidências empíricas que demonstram esse fenômeno. Ele vincula a redução espacial e os mecanismos de adaptação difusa das redes neurais, fornecendo uma perspectiva que vincula a compressão recorrente de recursos à estrutura do Gargalo de Informação.
A estrutura proposta concentra-se na descrição e análise do nível local, que é definido como o nível Jacobiano esperado da função de ativação anterior em relação à entrada. Essa métrica fornece uma maneira de capturar o número real de dimensões de recursos em cada camada da rede. A análise teórica sugere que, sob certas condições, a otimização baseada na elevação leva a soluções onde as camadas intermediárias melhoram os níveis locais mais baixos, criando efetivamente restrições. Esse efeito de gargalo é o resultado da regularização implícita, onde a rede rebaixa as matrizes de peso à medida que aprende a classificar ou prever. Estudos empíricos foram conduzidos tanto em dados sintéticos quanto no conjunto de dados MNIST, onde os autores mostram uma diminuição consistente na extensão espacial de todas as camadas durante a fase final de treinamento.
Os resultados de potência revelam uma potência dinâmica: ao treinar um perceptron de 3 camadas (MLP) em dados gaussianos artificiais e um MLP de 4 camadas no conjunto de dados MNIST, os pesquisadores observaram uma diminuição significativa na localidade durante os estágios finais do treinamento. . A redução ocorreu em todas as camadas, alinhada com a fase de compressão prevista pela teoria do Gargalo de Informação. Além disso, os autores testaram modelos de gargalo de informação variacional profundo (VIB) e mostraram que o nível local está intimamente ligado ao parâmetro β do comércio IB, com uma clara mudança de fase no nível local à medida que o parâmetro muda. Estas descobertas confirmam a ideia de que o nível local é um indicador do nível de compressão de informação que ocorre dentro da rede.
Concluindo, este estudo apresenta a extensão espacial como uma métrica importante para compreender como as redes neurais restringem as representações aprendidas. As ideias teóricas, apoiadas por evidências empíricas, mostram que as redes profundas reduzem naturalmente o tamanho do seu factor de redundância durante o treino, o que está directamente relacionado com a sua capacidade de generalizar eficazmente. Ao relacionar a posição geográfica com a teoria do Gargalo de Informação, os autores fornecem uma nova lente para visualizar a aprendizagem representacional. Trabalhos futuros poderiam estender esta análise a outros tipos de arquiteturas de rede e aplicações de teste que se aplicam a técnicas de compressão de modelos e generalização aprimorada.
Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso Mais de 50k ML SubReddit.
[Upcoming Live Webinar- Oct 29, 2024] A melhor plataforma para modelos ajustados: mecanismo de inferência Predibase (atualizado)
Shobha é um analista de dados com histórico comprovado no desenvolvimento de soluções de aprendizado de máquina que geram valor comercial.
Ouça nossos podcasts e vídeos de pesquisa de IA mais recentes aqui ➡️
