A estrutura MCSFF: uma nova estrutura de alinhamento de entidades multimodais projetada para capturar consistência e informações claras entre modalidades

O alinhamento de entidade multimodal (MMEA) é um método que usa informações de várias fontes de dados ou métodos para identificar entidades relacionadas em gráficos de informações. Ao combinar informações de texto, estrutura, atributos e bases de conhecimento externas, o MMEA pode resolver as limitações dos métodos monomodo e alcançar maior precisão, robustez e eficácia nas tarefas de alinhamento de negócios. No entanto, enfrenta vários desafios, incluindo dispersão de dados, diversidade semântica, ruído e ambiguidade, desafios de integração, refinamento iterativo, complexidade computacional e métricas de avaliação.

Os métodos MMEA atuais, como MtransE e GCN-Align, concentram-se em recursos compartilhados entre processos, mas muitas vezes ignoram seus recursos exclusivos. Esses modelos podem depender demais de certas variáveis, incorporar informações de forma insuficiente, carecer de recursos específicos do processo ou ignorar as relações entre os processos. Isto leva à perda de informações importantes e reduz a precisão do alinhamento. O desafio reside em combinar com sucesso informações visuais e informações de atributos de MMKGs, mantendo a especificidade e consistência de cada método.

Pesquisadores da Universidade Central Sul de Silvicultura e Tecnologia ChangSha, China, apresentaram uma solução inovadora: a Estrutura de Fusão de Consistência e Especificidade Multimodal (MCSFF). O MCSFF melhora a inteligência de negócios não apenas capturando informações consistentes entre métodos, mas também preservando aspectos específicos de cada um. Ele usa infraestrutura integrada para Scale Computing para otimizar a alocação de recursos para processamento de dados em grande escala. A estrutura compila independentemente as mesmas matrizes para cada método, seguida por um método de revisão iterativo para remover ruídos e melhorar recursos. Esta abordagem garante que informações importantes de cada modo sejam preservadas e integradas em uma representação mais ampla do negócio.

A estrutura MCSFF funciona com três componentes principais: um módulo de cálculo de matriz de consistência unimodal, um método de integração de consistência intermodal (CMCI) e um processo iterativo de atualização de incorporação. O módulo de matriz de similaridade unidirecional combina semelhanças visuais e de atributos entre entidades, preservando as características únicas de cada método. A abordagem CMCI define recursos por meio de treinamento e integra conhecimento entre métodos, produzindo uma incorporação de negócios forte e precisa. Finalmente, a estrutura realiza uma atualização iterativa da incorporação, integrando informações de entidades vizinhas usando uma abordagem atencional para refinar continuamente as representações de recursos.

A estrutura MCSFF proposta supera significativamente os métodos existentes para tarefas de alinhamento chave para vários modelos de negócios, alcançando melhorias significativas em métricas como Hits@1, Hits@10 e MRR em conjuntos de dados FB15K-DB15K e FB15K-YAGO15K. Especificamente, o MCSFF ultrapassou a melhor linha de base de até 4,9% no Hits@10 e 0,045 no MRR, o que mostra a sua eficácia na segmentação precisa de empresas em diferentes canais. Estudos de ablação revelaram o importante papel de componentes como Integração de Consistência Cross-Modal (CMCI) e Matriz de Similaridade de Modalidade Única (SM), pois sua remoção levou a uma diminuição significativa no desempenho. Esses resultados destacam a capacidade do MCSFF de capturar recursos específicos e consistentes entre métodos, tornando-o altamente eficaz para tarefas de alinhamento empresarial em larga escala.

Concluindo, o MCSFF aborda efetivamente as limitações dos métodos MMEA atuais, propondo uma estrutura que captura tanto a consistência quanto a especificidade do processo. Ao capturar recursos discretos e invariantes em todos os modos, o MCSFF não apenas melhora a precisão do alinhamento, mas também exibe robustez significativa, especialmente em casos com dados de treinamento limitados. O forte desempenho da estrutura, mesmo com dados de treinamento limitados, destaca sua robustez e eficiência em grandes situações do mundo real. A capacidade do MCSFF de usar menos dados e ao mesmo tempo manter alta precisão o torna uma ferramenta poderosa para melhorar as funções de alinhamento para muitos tipos de negócios.

Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal.. Não se esqueça de participar do nosso SubReddit de 55k + ML.

[Upcoming Live Webinar- Oct 29, 2024] A melhor plataforma para modelos ajustados: mecanismo de inferência Predibase (atualizado)