Aprofundamento do Ready Tensor na classificação de etapas de séries temporais: uma análise comparativa de 25 modelos de aprendizado de máquina e redes neurais

A análise de séries temporais é um domínio complexo e desafiador na ciência de dados, principalmente devido à natureza sequencial e à dependência temporal inerente aos dados. A classificação de etapas neste contexto envolve atribuir rótulos de classe a etapas de tempo individuais, o que é importante para compreender padrões e fazer previsões. Ready Tensor conduziu um extenso estudo de benchmarking para testar o desempenho de 25 modelos de aprendizado de máquina em cinco conjuntos de dados diferentes para melhorar a precisão da classificação de medidas de séries temporais publicação recente sobre Time Step Classification Benchmarking.

O estudo avaliou cada modelo usando quatro métricas principais de avaliação, precisão, exatidão, recall e pontuação F1, em vários dados de séries temporais. Uma análise abrangente destacou diferenças significativas no desempenho dos modelos, indicando os pontos fortes e as limitações das diferentes abordagens de modelagem. Os resultados mostram que escolher o modelo certo com base nas características do conjunto de dados e na tarefa de classificação é importante para alcançar alto desempenho. Esta publicação fornece um recurso importante para a seleção de modelos e contribui para a discussão contínua dos desenvolvimentos metodológicos na análise de séries temporais.

Visão geral dos conjuntos de dados

O estudo de benchmarking utilizou cinco conjuntos de dados diferentes escolhidos para representar um conjunto diversificado de funções de classificação de séries temporais. Os conjuntos de dados incluem dados do mundo real e sintéticos, cobrindo várias frequências de tempo e comprimentos de série. Os conjuntos de dados são brevemente descritos a seguir:

• HAR70Plus: O conjunto de dados é derivado do conjunto de dados Human Activity Recognition (HAR), que inclui 18 séries com sete classes e seis recursos. O comprimento mínimo da string é 871 e o máximo é 1536.
• HMM continua: Um conjunto de dados sintético composto por 500 séries com quatro classes e três recursos, de 50 a 300 intervalos de tempo.
• Senoidal multifrequência: Outro conjunto de dados sintético consiste em 100 séries, cinco classes e dois recursos, com comprimentos de série variando de 109 a 499 intervalos de tempo.
• Aquisição de residência: Um conjunto de dados do mundo real com apenas uma série, duas classes e cinco recursos, cobrindo 20.560 intervalos de tempo.
• PAMAP2: Conjunto de dados de atividade humana contendo nove séries, 12 classes e 31 recursos, com comprimentos variando de 64 a 2.725.

Os conjuntos de dados, incluindo HAR70 e PAMAP2, são versões compiladas retiradas do UCI Machine Learning Repository. Os dados foram combinados para criar conjuntos de dados com vários intervalos de tempo, tornando-os adequados para pesquisa.

Modelos testados

O estudo de benchmarking do Ready Tensor dividiu os 25 modelos testados em três tipos principais: modelos de aprendizado de máquina (ML), modelos de rede neural e uma categoria especial chamada modelo de perfil de distância.

1. Modelos de aprendizado de máquina: Este grupo inclui 17 modelos selecionados por sua capacidade de lidar com dependências sequenciais entre dados de séries temporais. Exemplos de modelos nesta categoria são Random Forest, K-Nearest Neighbours (KNN) e Regressão Logística.
2. Modelos de redes neurais: Esta classe inclui sete modelos e apresenta arquitetura de rede neural avançada que pode capturar padrões complexos e dependências de longo alcance em dados de séries temporais. Modelos proeminentes incluem Long Short-Term Memory (LSTM) e Redes Neurais Convolucionais (CNN).
3. Modelo de perfil de classificação: Este modelo, discutido no estudo, utiliza um método único baseado no cálculo de distâncias entre pontos de dados de séries temporais. É diferente dos métodos convencionais de aprendizado de máquina e de redes neurais e fornece uma perspectiva diferente na classificação de séries temporais.

Resultados e detalhes

O estudo testou cada modelo individualmente em conjuntos de dados, calculando a média das métricas de desempenho para obter uma pontuação geral. Os dados combinados são apresentados em um mapa de calor, com modelos listados no eixo y e as métricas, precisão, exatidão, recall e pontuação F1, no eixo x. Os valores representam a média de cada métrica nos conjuntos de dados, fornecendo uma comparação visual clara do desempenho do modelo.

• Melhores jogadores: Os resultados mostraram que algoritmos de otimização e métodos avançados de agrupamento funcionaram muito bem. CatBoost recebeu uma pontuação F1 de 0,80, seguido por LightGBM com 0,78, Hist Gradient Boosting com 0,77 e XGBoost e Stacking com 0,77. Esses modelos são muito bem-sucedidos no gerenciamento de recursos complexos e no tratamento de conjuntos de dados heterogêneos.
• Concorrentes fortes: Modelos como Gradient Boosting e Extra Trees pontuaram 0,75, enquanto Random Forest apresentou um forte desempenho de 0,75. Esses modelos provaram ser escolhas confiáveis, especialmente em situações em que os modelos de melhor desempenho podem ser estatisticamente caros ou propensos a overfitting.
• Jogadores básicos ou médios: Modelos como Bagging e SVC pontuaram 0,74, e modelos de redes neurais como CNN, RNN e LSTM pontuaram 0,73. Esses modelos proporcionaram desempenho razoável e podem servir de base para comparação.
• Abaixo da média Jogadores: Modelos como regressão logística (0,66), Ridge (0,64) e árvore de decisão (0,63) lutaram para capturar dependências temporais complexas. KNN e AdaBoost pontuaram na extremidade inferior do espectro, com pontuações F1 de 0,61 e 0,60, respectivamente.

A conclusão

Um estudo de benchmarking da Ready Tensor fornece uma avaliação detalhada de 25 modelos em cinco conjuntos de dados de séries em fases no tempo. Os resultados enfatizam a eficácia de algoritmos de otimização como CatBoost, LightGBM e XGBoost no tratamento de dados de séries temporais. Uma visualização do mapa de calor do estudo forneceu uma comparação abrangente, destacando os pontos fortes e fracos das diversas abordagens de modelagem. Esta publicação serve como um guia importante para investigadores e profissionais, ajudando a escolher modelos apropriados para tarefas de classificação de séries temporais e contribuindo para o desenvolvimento de soluções eficientes e eficazes neste campo em evolução.

Confira Detalhes. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal..

Não se esqueça de participar do nosso Mais de 50k ML SubReddit

Interessado em promover sua empresa, produto, serviço ou evento para mais de 1 milhão de desenvolvedores e pesquisadores de IA? Vamos trabalhar juntos!

Aswin AK é consultor da MarkTechPost. Ele está cursando seu diploma duplo no Instituto Indiano de Tecnologia, Kharagpur. Ele é apaixonado por ciência de dados e aprendizado de máquina, o que traz consigo uma sólida formação acadêmica e experiência prática na solução de desafios de domínio da vida real.