Prithvi WxC lançado pela IBM e NASA: um modelo de base de parâmetros de 2,3 bilhões para tempo e clima
Inteligência artificial

Prithvi WxC lançado pela IBM e NASA: um modelo de base de parâmetros de 2,3 bilhões para tempo e clima


A previsão do tempo e do clima experimentou rápidos avanços no aprendizado de máquina e nos modelos de aprendizado profundo. Os pesquisadores começaram a contar com a inteligência artificial (IA) para melhorar a precisão das previsões e a eficiência computacional. Os modelos meteorológicos numéricos tradicionais (NWP) têm funcionado com sucesso, mas requerem muitos recursos computacionais, tornando-os inacessíveis e difíceis de usar em larga escala. Enquanto isso, os modelos de aprendizagem profunda podem capturar padrões e relações complexas no espaço usando muito menos recursos computacionais. Esta mudança de paradigma permite aos investigadores desenvolver modelos altamente escaláveis ​​e flexíveis, simplificando os principais pressupostos tanto na previsão climática de curto prazo como na modelação climática de longo prazo.

Um grande problema na previsão do clima e do tempo é a necessidade de modelos tradicionais para capturar processos atmosféricos não lineares, especialmente em resoluções mais precisas. A falta de um modelo integrado que aborde simultaneamente vários casos de utilização, como a previsão climática regional, a previsão de eventos extremos e a análise do impacto climático, representa um grande desafio. Além disso, há necessidade de modelos que possam funcionar de forma eficaz em diferentes escalas espaciais e temporais. Esta lacuna é ainda mais destacada quando se trata de eventos locais extremos, que requerem dados de alta resolução que muitos modelos consideram difícil de processar sem incorrer em elevados custos computacionais. Portanto, construir um modelo único de IA em grande escala que resolva vários desafios de previsão pode melhorar muito os métodos existentes.

Os modelos atuais de aprendizagem profunda para ciência eólica, como FourCastNet, Pangu e GraphCast, são projetados principalmente para tarefas específicas de previsão. Esses modelos concentram-se em questões como previsões de curto prazo, mas exigem mais flexibilidade para uma gama mais ampla de aplicações. Além disso, a maioria destes modelos utiliza estruturas e objetivos específicos de tarefas, o que limita a sua capacidade de trabalhar sob diversas condições de previsão, especialmente para previsões de longo prazo ou tarefas complexas de modelação climática. Portanto, estes modelos, embora avançados, muitas vezes requerem refinamentos adicionais para estudos climáticos mais abrangentes.

Pesquisadores da IBM Research e da NASA apresentaram Prithvi WxCum modelo básico de 2,3 bilhões de parâmetros para previsão do tempo e do clima. O modelo Prithvi WxC incorpora 160 variáveis ​​da Análise Retrospectiva da Era Moderna para Pesquisa e Aplicações, Versão 2 (MERRA-2), um conjunto de dados de alta resolução que cobre as condições atmosféricas globais. Este modelo usa uma arquitetura codificadora-codificadora baseada em transformador de última geração, que permite capturar bem as dependências locais e globais em dados atmosféricos. O uso de um modelo de transformador ajuda a lidar com dependências de dados de longo alcance, tornando possível modelar interações atmosféricas complexas em várias escalas, do local ao global.

A arquitetura central do Prithvi WxC inclui uma combinação de mecanismos de atenção locais e globais que permitem processar grandes quantidades de tokens, capturando efetivamente padrões espaciais e temporais nos dados de entrada. Ele também usa objetivo misto que inclui reconstrução oculta e funções de previsão. Esta abordagem única permite que o modelo tenha um bom desempenho em todas as diferentes aplicações, desde a previsão automática de emissões até a estimativa de eventos climáticos extremos. Além disso, o modelo inclui uma fase de pré-treinamento com 25 blocos e 5 blocos decodificadores, usando técnicas avançadas de IA, como codificação automática oculta e previsão dinâmica de lead time. A flexibilidade do modelo é ainda reforçada pela sua capacidade de incluir tokens adicionais de medições fora da rede durante o ajuste fino, tornando-o adequado para uma variedade de aplicações downstream.

Durante os testes, o Prithvi WxC apresentou alto desempenho em diversos benchmarks. Outro destaque foi a sua capacidade de prever com precisão a trajetória e a força do furacão Ida, encontrando um erro médio de 63,9 km em comparação com 201,9 km para outros modelos. O modelo também foi testado em operações downstream, como downscaling, onde mostrou um impressionante erro quadrático médio de raiz espacial (RMSE) de 0,73 K ao prever a temperatura do ar de 2 metros, superando os métodos convencionais em um quarto. Sua força se estende à parametrização de ondas gravitacionais, onde supera os modelos básicos ao prever com sucesso as flutuações de pressão na alta troposfera.

Principais conclusões do estudo:

  • Prithvi WxC é um modelo básico de 2,3 bilhões de parâmetros que inclui 160 variáveis ​​atmosféricas.
  • O modelo utiliza uma arquitetura baseada em transformador com mecanismos de atenção locais e globais.
  • Ele recebeu um erro negativo de 63,9 km no furacão Ida e teve um desempenho melhor que outros modelos.
  • Prithvi WxC mostrou um RMSE local de 0,73 K em tarefas de redução de escala, superando os métodos convencionais em quatro.
  • O método de treinamento exclusivo deste modelo combina reconstrução e previsão de máscara, tornando-o adequado para diversas aplicações espaciais.
  • Os pesquisadores demonstraram sua eficácia em muitas tarefas posteriores, incluindo previsão de eventos extremos e parametrização de fluxo de ondas gravitacionais.

Concluindo, o desenvolvimento do Prithvi WxC mostra um grande salto em termos de tempo e clima, fornecendo uma solução confiável e flexível que atende às limitações dos modelos atuais. A sua capacidade de lidar com múltiplas tarefas utilizando estruturas integradas torna-o uma base potencial para avanços futuros na ciência climática. O sucesso do modelo em vários benchmarks e seu tratamento superior de interações atmosféricas complexas mostram que modelos básicos como o Prithvi WxC podem transformar a forma como a previsão do tempo e do clima é feita, melhorando a precisão e reduzindo os custos computacionais.


Confira Papel, Cartão modelo em rosto abraçadode novo Página GitHub. Todo o crédito deste estudo vai para os pesquisadores deste projeto. Além disso, não se esqueça de nos seguir Twitter e junte-se ao nosso Estação telefônica de novo LinkedIn Gracima. Se você gosta do nosso trabalho, você vai gostar do nosso jornal..

Não se esqueça de participar do nosso Mais de 50k ML SubReddit

Quer chegar a mais de 1 milhão de leitores de IA? Trabalhe conosco aqui


Asif Razzaq é o CEO da Marktechpost Media Inc. Como empresário e engenheiro visionário, Asif está empenhado em aproveitar o poder da Inteligência Artificial em benefício da sociedade. Seu mais recente empreendimento é o lançamento da Plataforma de Mídia de Inteligência Artificial, Marktechpost, que se destaca por sua ampla cobertura de histórias de aprendizado de máquina e aprendizado profundo que parecem tecnicamente sólidas e facilmente compreendidas por um amplo público. A plataforma possui mais de 2 milhões de visualizações mensais, o que mostra sua popularidade entre os telespectadores.





Source link

Você também pode gostar...

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *