STGformer: um transformador gráfico espaçotemporal que alcança desempenho computacional e desempenho incomparáveis ​​em aplicações de previsão de tráfego em grande escala
Inteligência artificial

STGformer: um transformador gráfico espaçotemporal que alcança desempenho computacional e desempenho incomparáveis ​​em aplicações de previsão de tráfego em grande escala


A previsão de tráfego é um aspecto importante da gestão de cidades inteligentes, essencial para melhorar o planeamento dos transportes e a alocação de recursos. Com o rápido desenvolvimento da aprendizagem profunda, padrões espaço-temporais complexos em dados de tráfego podem agora ser modelados de forma eficaz. No entanto, as aplicações do mundo real apresentam desafios únicos devido à grande natureza destes sistemas, que muitas vezes incluem milhares de sensores interligados distribuídos por grandes áreas geográficas. Modelos tradicionais, como redes neurais de grafos (GNNs) e arquiteturas baseadas em transformadores, têm sido amplamente adotados na previsão de tráfego devido à sua capacidade de capturar dependências espaciais e temporais. No entanto, à medida que estas redes crescem, as suas exigências computacionais crescem exponencialmente, tornando difícil a aplicação destes métodos a grandes redes, como o sistema rodoviário da Califórnia.

Um dos problemas mais urgentes dos modelos existentes é a sua incapacidade de gerir adequadamente as redes rodoviárias. Por exemplo, benchmarks populares como a série PEMS e MeTR-LA contêm poucos nós, que são gerenciáveis ​​em modelos padrão. No entanto, estes conjuntos de dados não representam com precisão a complexidade dos sistemas de tráfego do mundo real, como o Sistema de Medição de Desempenho Caltrans da Califórnia, que inclui aproximadamente 20.000 sensores ativos. Um grande desafio é manter a eficiência computacional enquanto exibe padrões locais e globais em uma rede tão grande. Sem uma solução eficaz, as limitações dos modelos atuais, como o elevado consumo de memória e o extenso tempo de computação necessário, continuam a impedir a sua robustez e aplicação em situações práticas.

Várias abordagens foram apresentadas para resolver essas limitações, incluindo GNNs e modelos baseados em Transformers para melhorar seu poder. Métodos baseados em processamento espaço-temporal, como STAEformer, fornecem processamento espaço-temporal de ordem superior usando múltiplas camadas empilhadas. Embora esses modelos melhorem o desempenho em conjuntos de dados de pequeno e médio porte, suas sobrecargas computacionais os tornam impraticáveis ​​para grandes redes. Portanto, há necessidade de novas arquiteturas que possam equilibrar a complexidade do modelo e os requisitos computacionais, garantindo ao mesmo tempo previsões de tráfego precisas em uma variedade de cenários.

Pesquisadores do Centro Conjunto de Pesquisa SUSTech-UTokyo sobre Cidades Super Inteligentes, da Universidade de Ciência e Tecnologia do Sul (SUSTech), da Universidade de Jilin e da Universidade de Tóquio desenvolveram STGformador. Este novo modelo integra mecanismos de atenção espaço-temporal dentro de uma estrutura gráfica. A equipe de pesquisa introduziu este modelo para alcançar alta eficiência na previsão de tráfego. A principal inovação do STGformer está em sua arquitetura, que combina convoluções baseadas em gráficos e blocos de atenção semelhantes aos do Transformer em uma única camada. Esta integração permite reter a potência aparente dos transformadores enquanto reduz significativamente os custos computacionais. Ao contrário dos métodos tradicionais que requerem múltiplas camadas de atenção, o STGformer captura interações espaço-temporais de ordem superior em um único domínio de atenção. Essa abordagem exclusiva resulta em uma aceleração de 100x e uma redução de 99,8% no uso de memória da GPU em comparação com o modelo STAEformer quando testado no benchmark LargeST.

Os pesquisadores usaram um módulo avançado de atenção gráfica espaçotemporal que considera as dimensões espaciais e temporais como uma entidade unificada. Este projeto reduz a complexidade computacional usando um método de atenção direta, que substitui a função softmax padrão por uma função de aproximação eficiente. A eficácia deste método foi demonstrada usando vários grandes conjuntos de dados, incluindo os conjuntos de dados de San Diego e Bay Area, onde o STGformer superou os modelos de última geração. O conjunto de dados de San Diego alcançou uma melhoria de 3,61% no erro médio absoluto (MAE) e uma redução de 6,73% no erro percentual médio absoluto (MAPE) em comparação com os modelos principais anteriores. Tendências semelhantes foram observadas em outros conjuntos de dados, destacando a robustez e adaptabilidade do modelo a diversas condições de tráfego.

A arquitetura STGformer fornece avanços na previsão de tráfego, tornando possível implantar modelos em grandes redes de tráfego do mundo real sem comprometer o desempenho ou a eficiência. Quando testado na rede rodoviária da Califórnia, o modelo apresentou desempenho notável ao completar o índice de cluster 100 vezes mais rápido que o STAEformer e usando apenas 0,2% dos recursos de memória. Essas melhorias tornam o STGformer uma base ideal para futuras pesquisas e desenvolvimento em modelagem espaço-temporal. Sua reprodutibilidade foi ainda confirmada por um teste de condição anual, onde o modelo manteve alta precisão mesmo quando aplicado a dados não vistos no ano seguinte.

Principais conclusões do estudo:

  • Desempenho do computador: Em comparação com modelos tradicionais como STAEformer, STGformer atinge aceleração de 100x e redução de 99,8% no uso de memória da GPU.
  • Escalabilidade: O modelo pode lidar com redes do mundo real com até 20.000 sensores, superando as limitações dos modelos existentes que falham em implantações em larga escala.
  • Benefícios Funcionais: Encontrou uma melhoria de 3,61% no MAE e uma redução de 6,73% no MAPE no conjunto de dados de San Diego, os modelos com melhor desempenho.
  • Poder de normalização: Ele demonstrou desempenho robusto em diferentes conjuntos de dados e manteve a precisão ao longo de anos de testes, refletindo a flexibilidade das mudanças nas condições de tráfego.
  • Arquitetura inovadora: A combinação da atenção do gráfico espaço-temporal com métodos de atenção direta permite que o STGformer capture padrões de tráfego locais e globais de forma eficiente.

Concluindo, o modelo STGformer apresentado pela equipe de pesquisa fornece uma solução altamente eficiente e escalável para previsão de tráfego em redes rodoviárias. Abordar as limitações dos GNNs existentes e dos métodos baseados em Transformers permite a alocação eficiente de recursos e o planejamento de transportes na gestão de cidades inteligentes. A capacidade do modelo proposto de lidar com dados espaço-temporais de alta dimensão usando recursos computacionais mínimos o torna um candidato ideal para uso em aplicações de previsão de tráfego do mundo real. Os resultados obtidos a partir de múltiplos conjuntos de dados e benchmarks sublinham o seu potencial para se tornar uma ferramenta padrão na computação urbana.


Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal..

Não se esqueça de participar do nosso Mais de 50k ML SubReddit

Quer chegar a mais de 1 milhão de leitores de IA? Trabalhe conosco aqui


Aswin AK é consultor da MarkTechPost. Ele está cursando seu diploma duplo no Instituto Indiano de Tecnologia, Kharagpur. Ele é apaixonado por ciência de dados e aprendizado de máquina, o que traz consigo uma sólida formação acadêmica e experiência prática na solução de desafios de domínio da vida real.





Source link

Você também pode gostar...

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *