Técnicas de aprendizagem profunda são cada vez mais utilizadas na análise de neuroimagem, com CNNs 3D oferecendo alto desempenho para imagens de volume. No entanto, a sua dependência de grandes conjuntos de dados é um desafio devido ao elevado custo e esforço necessários para a recolha e anotação de dados médicos. Como alternativa, as CNNs 2D utilizam projeções 2D de imagens 3D, que muitas vezes limitam o contexto do volume, afetando a precisão do diagnóstico. Técnicas como a transferência de aprendizagem e a destilação de conhecimento (KD) abordam estes desafios utilizando modelos pré-treinados e transferindo conhecimento de redes complexas de professores para modelos simples de alunos. Esses métodos melhoram o desempenho enquanto mantêm a disponibilidade geral em tarefas de imagens médicas com recursos limitados.
Na análise de neuroimagem, os métodos de projeção 2D adaptam imagens de volume 3D a CNNs 2D, geralmente selecionando fatias representativas. Técnicas como a entropia de Shannon têm sido usadas para identificar fragmentos diagnósticos relevantes, enquanto métodos como 2D+e melhoram o conhecimento agrupando fragmentos. KD, introduzido por Hinton, transfere conhecimento de modelos complexos para modelos simples. Desenvolvimentos recentes incluem KD intermodal, onde os dados multimodais melhoram a aprendizagem monomodal, e KD baseado em relacionamento, que captura as relações das amostras. No entanto, para usar KD para treinar CNNs 2D, as relações volumétricas na imagem 3D ainda precisam ser avaliadas, apesar do seu potencial para melhorar a classificação de neuroimagem com dados limitados.
Pesquisadores da Dong-A University propõem uma estrutura KD 3D para 2D para melhorar a capacidade das CNNs 2D de aprender informações de volume a partir de conjuntos de dados limitados. A estrutura inclui um volume de codificação de conhecimento de rede de professores 3D, uma rede de alunos 2D focada em dados de volume de componentes e destilação com perdas para orientar recursos incorporados entre os dois. Aplicado às tarefas de classificação da doença de Parkinson usando os conjuntos de dados 123I-DaTscan SPECT e 18F-AV133 PET, o método apresentou excelente desempenho, alcançando uma pontuação F1 de 98,30%. Este método independente de projeção preenche a lacuna de modalidade entre imagens 3D e 2D, melhorando a disponibilidade de padrões e enfrentando desafios na análise de imagens médicas.
O método melhora a representação de dados de volume segmentar por meio de informações relacionais, ao contrário dos métodos anteriores que dependem da extração de fatias básicas ou combinações de características sem focar na análise da lesão. Apresentamos uma estratégia de “restrição parcial de entrada” para melhorar o KD 3D para 2D. Isso inclui a renderização de dados de volume 3D em entrada 2D usando técnicas como fatias únicas, fusão inicial (fusão em nível de canal), fusão conjunta (fusão de recursos intermediários) e imagens baseadas em fusão dinâmica. Uma rede de professores 3D integra informações de volume usando um ResNet18 modificado, e uma rede de alunos 2D, treinada por projeção de segmento, combina essas informações por meio de aprendizagem supervisionada e alinhamento de recursos baseado em similaridade.
A pesquisa explorou vários métodos de projeção 2D combinados com KD 3D para 2D para melhorar o desempenho. Os métodos incluíram entrada de fatia única, fatias adjacentes (configurações EF e JF) e métodos de combinação de posição. Os resultados mostraram uma melhoria consistente com KD 3D para 2D, com a configuração FuseMe baseada em JF alcançando o melhor desempenho, em comparação com o modelo de professor 3D. A validação externa no conjunto de dados PET F18-AV133 revelou que a rede de aprendizagem 2D, após KD, teve um desempenho melhor do que o modelo de aprendizagem 3D. Estudos de ablação destacaram o maior impacto da perda baseada em características (Lfg) do que a perda baseada em log (Llg). A estrutura melhorou com sucesso a compreensão do aspecto volumétrico, ao mesmo tempo que abordou lacunas metodológicas.
Concluindo, o estudo compara o método KD 3D para 2D proposto com métodos anteriores de classificação de neuroimagem, enfatizando sua integração com dados de volume 3D. Ao contrário dos sistemas 2D baseados em CNN, que transformam dados de volume em fatias 2D, o método proposto treina uma rede 3D de professores para sintetizar informações de uma rede 2D de alunos. Esta técnica reduz as demandas computacionais ao usar informações de volume para melhorar o modelo 2D. O método se mostra robusto para todas as modalidades de dados, como mostrado em imagens SPECT e PET. Os resultados dos testes destacam sua capacidade de generalizar de funções de distribuição para funções de não distribuição, melhorando significativamente o desempenho mesmo em conjuntos de dados limitados.
Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.
🎙️ 🚨 'Avaliação de vulnerabilidade de um modelo de linguagem grande: uma análise comparativa de técnicas de clustering vermelho' Leia o relatório completo (Promovido)
Sana Hassan, estagiária de consultoria na Marktechpost e estudante de pós-graduação dupla no IIT Madras, é apaixonada pelo uso de tecnologia e IA para enfrentar desafios do mundo real. Com um profundo interesse em resolver problemas do mundo real, ele traz uma nova perspectiva para a intersecção entre IA e soluções da vida real.
🧵🧵 [Download] Avaliação do relatório de trauma do modelo de linguagem principal (estendido)
