A Pesquisa de Arquitetura Neural (NAS) emergiu como uma ferramenta poderosa para automatizar o projeto de arquiteturas de redes neurais, proporcionando uma vantagem clara sobre os métodos de projeto manuais. Reduz muito o tempo e o esforço profissional necessários para o desenvolvimento arquitetônico. No entanto, o NAS tradicional enfrenta desafios significativos, pois depende de extensos recursos computacionais, especialmente GPUs, para navegar em grandes espaços de pesquisa e identificar estruturas relevantes. O processo envolve determinar a melhor combinação de camadas, funções e hiperparâmetros para maximizar o desempenho do modelo para tarefas específicas. Esses métodos que consomem muitos recursos não funcionam em dispositivos de hardware, que precisam ser implantados rapidamente, o que limita seu uso generalizado.
Os métodos atuais discutidos neste artigo incluem métodos NAS com reconhecimento de hardware (HW NAS) que lidam com dispositivos com recursos limitados, incorporando métricas de hardware no processo de pesquisa. No entanto, esses métodos ainda utilizam GPUs para executar melhores modelos, limitando sua acessibilidade. No domínio TinyML, estruturas como MCUNet e MicroNets tornaram-se populares para o desenvolvimento de arquiteturas neurais para MCUs, mas também requerem recursos de GPU significativos. Estudos recentes introduziram métodos HW NAS baseados em CPU para pequenas CNNs, mas eles apresentam limitações, como depender de camadas CNN padrão em vez de opções mais eficientes.
Uma equipe de pesquisadores do Instituto Indiano de Tecnologia de Kharagpur, na Índia, propôs o TinyTNAS, uma ferramenta de pesquisa de arquitetura neural multifuncional com reconhecimento de hardware, projetada especificamente para classificação de séries temporais TinyML. TinyTNAS é eficiente em termos de CPU, tornando-o mais acessível e utilizável para uma ampla gama de aplicações. Ele permite aos usuários definir restrições de desempenho de RAM, FLASH e MAC para encontrar a estrutura ideal da rede neural dentro desses parâmetros. Um recurso exclusivo do TinyTNAS é a capacidade de realizar pesquisas urgentes, garantindo que o melhor modelo seja encontrado dentro do período especificado pelo usuário.
A arquitetura TinyTNAS foi projetada para funcionar em diversos conjuntos de dados de séries temporais, demonstrando sua versatilidade nos domínios de estilo de vida, saúde e computação humana. Cinco conjuntos de dados são usados, incluindo UCIHAR, PAMAP2 e WISDM para monitoramento de atividades humanas, e banco de dados de diagnóstico de ECG do MIT-BIH e PTB para aplicações de saúde. UCIHAR fornece aceleração linear triaxial e dados de velocidade angular, PAMAP2 captura dados de 18 funções corporais usando IMU e sensores de frequência cardíaca, e WISDM contém dados de acelerômetro e giroscópio. O MIT-BIH compila dados anotados de ECG cobrindo várias arritmias, enquanto o banco de dados de diagnóstico de ECG PTB contém registros de ECG de indivíduos com diferentes condições cardíacas.
Os resultados comprovam o excelente desempenho do TinyTNAS em todos os cinco conjuntos de dados. Ele alcança uma redução dramática no uso de recursos para o conjunto de dados UCIHAR, incluindo RAM, operações MAC e memória FLASH. Mantém alta precisão e reduz a latência em 149 vezes. Os resultados do conjunto de dados PAMAP2 e WISDM mostram uma redução de 6 vezes no uso de RAM e uma redução significativa no uso de outros recursos, sem perder a precisão. TinyTNAS é muito eficiente, pois conclui o processo de pesquisa em 10 minutos de tempo de CPU. Esses resultados comprovam a eficácia do TinyTNAS na otimização de estruturas de redes neurais para aplicativos TinyML com recursos limitados.
Neste artigo, os pesquisadores apresentaram o TinyTNAS, que representa um avanço significativo na combinação da Pesquisa de Arquitetura Neural (NAS) com o TinyML para programação de séries temporais em dispositivos com recursos limitados. Ele funciona bem em CPUs sem GPUs e permite aos usuários definir restrições de desempenho de RAM, FLASH e MAC e encontrar a arquitetura de rede neural ideal. Os resultados em vários conjuntos de dados mostram sua melhoria significativa de desempenho em relação aos métodos existentes. Este trabalho eleva o padrão para o desenvolvimento de projetos de redes neurais AIoT e aplicações de IA incorporadas de baixo custo e baixo consumo de energia. É uma das primeiras tentativas de construir uma ferramenta NAS projetada especificamente para classificação de séries temporais TinyML.
Confira Papel. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter de novo LinkedIn. Junte-se ao nosso Estação telefônica.
Se você gosta do nosso trabalho, você vai gostar do nosso jornal..
Não se esqueça de participar do nosso Mais de 50k ML SubReddit
Sajjad Ansari se formou no último ano do IIT Kharagpur. Como entusiasta da tecnologia, ele examina as aplicações da IA com foco na compreensão do impacto das tecnologias de IA e suas implicações no mundo real. Seu objetivo é transmitir conceitos complexos de IA de maneira clara e acessível.
