Redes Neurais de Grafos GNNs se tornaram uma ferramenta poderosa para análise de dados estruturados em grafos, com aplicações que vão desde redes sociais e sistemas de recomendação até bioinformática e descoberta de medicamentos. Além de seu desempenho, as GNNs enfrentam desafios como imprecisões, problemas de interpretação, suavidade excessiva e sensibilidade ao ruído. Propriedades de nós barulhentas ou irrelevantes podem se propagar pela rede, impactando negativamente o desempenho. Para enfrentar esses desafios, foram introduzidas técnicas de downscaling, que melhoram a robustez ao remover seletivamente componentes como vértices, nós ou mensagens durante o treinamento. Embora métodos como DropEdge, DropNode e DropMessage dependam de um critério de seleção baseado em heurística, eles carecem de uma forma sistemática de identificar e remover componentes que degradam o desempenho do modelo. Isto destaca a necessidade de abordagens sistemáticas que priorizem a interpretação e reduzam o excesso de complexidade durante o treinamento.
Trabalhos recentes exploraram a inteligência artificial explicável (XAI) como base para o desenvolvimento de técnicas de redução de escala da GNN. Ao contrário dos métodos existentes aleatórios ou baseados em heurística, os métodos baseados em XAI desenvolvem técnicas de interpretabilidade no nível da instância para identificar e remover componentes gráficos perigosos. Esses métodos usam mapas inteligentes ou interpretações baseadas em perturbações para identificar áreas ruidosas ou irrelevantes, garantindo que a estrutura do gráfico armazenado corresponda a contribuições significativas para as previsões do modelo. Os métodos baseados em XAI melhoraram muito o desempenho e a robustez em comparação com as técnicas suspensas convencionais. Esta estrutura integra-se perfeitamente com métodos de robustez baseados em gradiente, mas se adapta a uma variedade de cenários de interpretabilidade, fornecendo uma maneira sistemática e eficiente de melhorar o treinamento e generalização da GNN.
Pesquisadores da Universidade de Trento e da Universidade de Cambridge introduziram o xAI-Drop, um GNNs de queda orientado à confirmabilidade. O xAI-Drop identifica e exclui recursos gráficos ruidosos durante o treinamento, usando localização e excesso de confiança como indicadores-chave. Esta abordagem evita que o modelo se concentre em padrões falsos, permitindo-lhe aprender representações robustas e interpretáveis. Testes empíricos em vários benchmarks mostram a alta precisão e a qualidade de definição aprimorada do xAI-Drop em comparação com as técnicas de queda existentes. As principais contribuições incluem a integração da definição como princípio orientador e a demonstração de sua eficácia em tarefas de classificação de nós e predição de links.
A estrutura XAI-DROP melhora o treinamento de GNNs removendo seletivamente nós ou arestas com base na descritividade e na confiança. Para classificação de nós, nós com alta confiança preditiva, mas baixa especificidade (medida pela adequação da confiabilidade) são identificados e atribuem probabilidades usando a transformação Box-Cox. A distribuição de Bernoulli determina se esses nós e suas arestas são removidos, o que produz uma matriz de adjacência de treinamento modificada. Este método também pode orientar as bordas de previsão do link, verificando a confiança e a interpretação do nível da borda. O XAI-DROP reduz efetivamente o ruído durante o treinamento, melhorando o desempenho do modelo em configurações dinâmicas e de entrada.
Os resultados experimentais mostram que o XAI-DROP supera aleatoriamente as técnicas baseadas em XAI em todos os conjuntos de dados e arquiteturas GNN. Ele identifica e remove com eficácia componentes ruidosos dos gráficos, melhorando o desempenho. O XAI-DROPNODE alcançou a mais alta precisão e interpretabilidade das tarefas de classificação de nós em comparação com outros métodos. Da mesma forma, o XAI-DROPEDGE apresentou pontuações AUC mais altas e melhor definição das funções de predição do link. Estes resultados enfatizam a robustez e eficácia do método na melhoria do desempenho da GNN em todos os diferentes cenários.
Concluindo, XAI-DROP é uma estrutura poderosa para tarefas baseadas em gráficos que combina precisão preditiva e interpretação. Sua capacidade de melhorar a interpretabilidade de mapas inteligentes, mantendo ou melhorando o desempenho de classificação e projeção, o diferencia dos métodos existentes. O XAI-DROP prova sua versatilidade ao ser bem-sucedido em vários conjuntos de dados, estruturas e tarefas, fornecendo uma solução promissora para enfrentar desafios em aplicações de aprendizagem baseadas em gráficos.
Confira eu Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Não se esqueça de participar do nosso SubReddit de 60k + ML.
🚨 PRÓXIMO WEBINAR GRATUITO DE IA (15 DE JANEIRO DE 2025): Aumente a precisão do LLM com dados artificiais e inteligência experimental–Participe deste webinar para obter insights práticos sobre como melhorar o desempenho e a precisão do modelo LLM e, ao mesmo tempo, proteger a privacidade dos dados.
Sana Hassan, estagiária de consultoria na Marktechpost e estudante de pós-graduação dupla no IIT Madras, é apaixonada pelo uso de tecnologia e IA para enfrentar desafios do mundo real. Com um profundo interesse em resolver problemas do mundo real, ele traz uma nova perspectiva para a intersecção entre IA e soluções da vida real.
🧵🧵 [Download] Avaliação do relatório de trauma do modelo de linguagem principal (estendido)
