HPC SAV Nowcasting

Výzva

Tradičné numerické predpovedné modely (NWP) vyžadujú hodiny výpočtového času a ich priestorové rozlíšenie je príliš hrubé pre hyperlokálne predpovede zrážok. Nowcasting — krátkodobá predpoveď počasia (0–6 hodín) — vyžaduje rýchle spracovanie satelitných snímok a ground-truth dát v takmer reálnom čase. Existujúce prístupy nedokážu efektívne kombinovať multispektrálne satelitné dáta s pozemnými meraniami pre presné priestorovo-časové predikcie.

Riešenie

Na superpočítači Devana (Slovenská akadémia vied) sme vyvinuli AI systém pre precipitation nowcasting využívajúci deep learning na satelitných a meteorologických dátach:

• EUMETSAT MSG satelitné dáta — multispektrálne snímky z Meteosat Second Generation satelitov s 15-minútovou kadenciou
• Ground-truth stanice — kalibrácia modelov pomocou dát z pozemných meteorologických staníc (zrážkomery, teplota, vlhkosť, tlak)
• U-Net architektúra — segmentačný model pre priestorovú predikciu zrážkových polí z multispektrálnych satelitných snímok
• ConvLSTM — konvolučné LSTM siete pre zachytenie časovej dynamiky atmosférických procesov a extrapoláciu zrážkových vzorcov
• HPC škálovanie — distribuovaný tréning na GPU klastri s alokáciou 50,000 CPU core-hours a 12,500 GPU core-hours

Technická architektúra

Pipeline je navrhnutý pre efektívne spracovanie veľkých objemov geospatálnych dát na HPC infraštruktúre:

• Data Acquisition — automatizovaný download EUMETSAT dát cez EUMETCast, preprocessing a georeferencing satelitných snímok
• Feature Engineering — extrakcia relevantných kanálov (VIS, IR, WV), výpočet odvodených produktov (Cloud Top Temperature, Convective Rainfall Rate)
• Model Training Pipeline — distribuovaný tréning U-Net a ConvLSTM na SLURM klastri Devana, hyperparameter optimization cez Optuna
• Inference Engine — optimalizovaný inference pipeline s TensorRT akceleráciou pre near-real-time predikcie
• Validation Module — automatické porovnanie predikcií s ground-truth dátami, výpočet CSI, POD, FAR metrík

Vedecké pozadie a metodológia

Projekt vychádza z najnovších poznatkov v oblasti deep learning pre atmosférické vedy:

• Precipitation Nowcasting — krátkodobá predpoveď zrážok je jednou z najnáročnejších úloh operatívnej meteorológie, kde tradičné NWP modely zaostávajú za data-driven prístupmi v horizonte 0–6 hodín (Sun et al., Reviews of Geophysics 2014)
• ConvLSTM pre spatiotemporálnu predikciu — Shi et al. (NeurIPS 2015) preukázali, že konvolučné LSTM siete výrazne prekonávajú optický tok a tradičné LSTM pri predikcii priestorovo-časových sekvencií radarových odrazov
• U-Net v meteorológii — segmentačné architektúry typu U-Net sa osvedčili pri identifikácii konvektívnych buniek a zrážkových polí zo satelitných snímok (Ayzel et al., Atmosphere 2020)
• Deep Learning pre atmosférické vedy — Reichstein et al. (Nature 2019) identifikovali hybridné modely kombinujúce fyzikálne znalosti s deep learning ako najsľubnejší smer pre Earth system science
• HPC v meteorológii — vysokovýkonné výpočty sú nevyhnutné pre tréning modelov na satelitných dátach s vysokým rozlíšením, kde jeden epoch môže trvať hodiny aj na GPU klastri (Schultz et al., BAMS 2021)

Technológie

Výsledky

• Alokácia 50,000 CPU core-hours a 12,500 GPU core-hours na superpočítači Devana (SAV)
• Spracovanie multispektrálnych satelitných dát s 15-minútovou kadenciou pre celú strednú Európu
• Predikcia zrážkových polí v horizonte 0–6 hodín s priestorovým rozlíšením 2 km
• Validácia oproti ground-truth dátam zo siete meteorologických staníc
• Potenciál pre integráciu do operatívnych meteorologických systémov a varovných služieb