Para determinar se dois sistemas biológicos ou artificiais processam informações da mesma maneira, diferentes métodos de similaridade são usados, como regressão linear, alinhamento centrado no kernel (CKA), similaridade de Bures normalizada (NBS) e distância angular de Procrustes. Apesar de sua popularidade, os fatores que contribuem para pontuações altas semelhantes e o que define boas pontuações ainda precisam ser determinados. Essas métricas são frequentemente usadas para comparar representações de modelos com a atividade cerebral, com o objetivo de encontrar modelos com características semelhantes às do cérebro. No entanto, não se sabe se estas medidas captam os aspectos corretos do cálculo e são necessárias orientações claras para selecionar a métrica correta para cada contexto.
Trabalhos recentes destacaram a necessidade de orientação prática na escolha de medidas para representar similaridade, que este estudo aborda fornecendo um novo quadro de avaliação. Essa abordagem otimiza conjuntos de dados artificiais para maximizar sua similaridade com registros neurais, permitindo uma análise sistemática de como diferentes métricas priorizam vários recursos dos dados. Ao contrário dos métodos anteriores que dependem de modelos pré-treinados, esta técnica começa com ruído não estruturado, revelando como a similaridade mede as informações relacionadas à tarefa. A estrutura é independente e pode ser aplicada a diferentes conjuntos de dados neurais, identificando padrões consistentes e propriedades importantes de medidas de similaridade.
Pesquisadores do MIT, NYU e HIH Tübingen desenvolveram uma ferramenta para analisar padrões de similaridade, otimizando conjuntos de dados artificiais para aumentar sua similaridade com dados neurais. Eles descobriram que pontuações altas semelhantes não refletem informações relacionadas ao trabalho, especialmente em métodos como a CKA. Diferentes métricas priorizam diferentes aspectos dos dados, como componentes principais, que podem influenciar sua interpretação. O estudo também destaca a falta de limites consistentes para pontuações comuns entre conjuntos de dados e medições, enfatizando cautela ao usar essas métricas para avaliar o ajuste entre modelos e sistemas neurais.
Para medir a similaridade entre dois sistemas, as representações de características de uma área do cérebro ou camada de modelo são comparadas usando pontuações de similaridade. Os conjuntos de dados X e Y são analisados e reconstruídos quando forças transitórias estão envolvidas. Vários métodos, como CKA, Angular Procrustes e NBS, são usados para calcular essas pontuações. O processo envolve melhorar os conjuntos de dados sintéticos (Y) para corresponder aos conjuntos de dados de referência (X), aumentando suas pontuações de similaridade. Em todas as configurações, as informações relacionadas à tarefa são extraídas de dados sintéticos e os principais componentes de X são avaliados para determinar quão bem Y os captura.
O estudo examina o que define a pontuação de similaridade ideal analisando cinco conjuntos de dados neurais, destacando que a pontuação ideal depende da medida e do conjunto de dados escolhidos. Num conjunto de dados, Mante 2013, a pontuação da qualidade do ajuste varia significativamente entre menos de 0,5 e 1. Mostra também que pontuações altas semelhantes, especialmente em CKA e regressão linear, nem sempre indicam que as informações relacionadas à tarefa são codificadas de forma semelhante aos dados neurais. Alguns conjuntos de dados melhorados até superam os dados originais, possivelmente devido a técnicas avançadas de remoção de ruído, embora sejam necessárias mais pesquisas para confirmar isso.
O estudo destaca limitações importantes nos métodos de correspondência comumente usados, como CKA e regressão linear, para comparar modelos e conjuntos de dados neurais. Pontuações altas semelhantes não indicam que conjuntos de dados sintéticos codifiquem efetivamente informações relacionadas a tarefas, como dados neurais. As descobertas mostram que a qualidade da pontuação correspondente depende da proporção especificada e do conjunto de dados, sem limite fixo para o que constitui uma pontuação “boa”. O estudo apresenta uma nova ferramenta para analisar estas medidas e sugere que os médicos devem interpretar as mesmas pontuações com cuidado, enfatizando a importância de compreender a dinâmica subjacente destas métricas.
Confira Artigo, Projeto e GitHub. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.
[Upcoming Live Webinar- Oct 29, 2024] A melhor plataforma para modelos ajustados: mecanismo de inferência Predibase (atualizado)
Sana Hassan, estagiária de consultoria na Marktechpost e estudante de pós-graduação dupla no IIT Madras, é apaixonada pelo uso de tecnologia e IA para enfrentar desafios do mundo real. Com um profundo interesse em resolver problemas do mundo real, ele traz uma nova perspectiva para a intersecção entre IA e soluções da vida real.
Ouça nossos podcasts e vídeos de pesquisa de IA mais recentes aqui ➡️
