Принять унаследованное ветер

Проникнуть наследием ветра

Фраза “свободный, как ветер” может быть верной в философском смысле, но в физическом мире ветер не всегда свободен; он представляет возможности и стоимость. Точный прогноз ветра сопряжен с реальными экономическими и гуманитарными последствиями как на макро-, так и на микроклиматическом уровне. Часто причины и последствия между масштабными и скоростными атмосферными явлениями являются частью одного уравнения, буквально и метафорически.

Хотя исследования по эффективности внедрения искусственного интеллекта (ИИ) и машинного обучения (МО) в погоду не являются новыми, искусственный интеллект до сих пор не продвинулся в операционных прогностических моделях. Однако его относительная вычислительная экономичность, способность работать с гораздо большими наборами данных гораздо быстрее, чем установленные прогностические модели, привела к подготовке метеорологического и компьютерного сообществ к предстоящей эре существенного интеллектуального пересечения.

Передовые исследования в области МО в погоде объединяют наборы данных обучения на основе исторических полных анализов данных установленных моделей с новыми наблюдениями, где даже данные с проектов, не использующих МО, могут принести большую пользу будущим моделям – и, возможно, наоборот.

В рамках одного из этих проектов, использующих традиционное моделирование, исследователи из Колорадского университета и Национального управления по атмосферным исследованиям и океанографии (NOAA) обнаружили, что улучшение прогнозов ветра для модели High-Resolution Rapid Refresh (HRRR), одной из наиболее широко используемых моделей в США, могло бы привести к потенциальному увеличению реального дохода национального масштаба на $384 миллиона, если бы обновленные модели HRRR были введены во время периодов обновления моделей. Точный прогноз ветра критичен для эффективного планирования ресурсов коммунальных услуг; прогнозирование большего количества доступной ветровой энергии, чем на самом деле происходит, может привести к последним минутным переключениям на более дорогую производство энергии на основе ископаемого топлива. В то же время недостаточное прогнозирование ветра может привести к перегрузке других источников электричества в тот момент, когда они могли бы покоиться.

• 4 Способа Бесплатно Увеличить Рост Вашей Рассылки
• Робот учится убираться в пространстве так, как вам нравится
• «Этот робот может стать ключом к осуществлению потенциала людей с ограниченными возможностями»

Эти проекты были названы проектами по улучшению прогнозов ветра. Первая фаза, WFIP-1, была проведена с 2011 по 2013 год, сбирая данные с Великих равнин и западного Техаса. Вторая фаза, WFIP-2, проходила с 2015 по 2019 годы в бассейне реки Колумбия в Тихоокеанском Северо-Западе штатов Орегон и Вашингтон. Однако, чтобы получить выявленные экономические выгоды, требовался тщательный сбор данных и анализ факторов микроклимата. Команда, работающая над WFIP-2, например, обнаружила, что прогнозирование скорости ветра на высотах ветряных турбин усложняется “холодными озерами” застойного воздуха в нижней части атмосферы. Эти озера раньше не прогнозировались точно, но проект выяснил, что облачность сильно влияет на их образование.

“Холодные озера являются проблемой по нескольким причинам”, – сказал Джим Вилчак, исследователь-метеоролог в лаборатории физических наук NOAA в Боулдере, Колорадо. Вилчак был техническим менеджером NOAA для WFIP-1 и руководил наблюдениями для WFIP-2. “Для ветровой энергии они являются проблемой, потому что производство ветровой энергии очень низкое. Для качества воздуха, если вы находитесь в одной из этих долин, и люди используют камины и автомобили выбрасывают дым и частицы, они задерживаются, и вы получаете очень загрязненные, плотные, холодные слои вблизи земли”.

Работа WFIP также может представлять переломный момент между эпохой, когда установленные модели погоды, называемые числовыми моделями прогноза погоды (NWP), были преимущественно анализированы и модифицированы с использованием классических вычислительных техник. Модели NWP, которые использовались исследователями WFIP, содержали данные наблюдений за условиями, которые затем подвергались сложным физическим уравнениям, не включающим машинное обучение элементов, таких как предшествующие измерения скорости ветра или покрытие облаков в этих местах. Хотя операционные результаты прогнозов погоды, основанных на МО, все еще находятся в начальной стадии, Вилчак сказал, что не ожидает долгого сохранения текущего статуса.

«Ни в WFIP-1, ни в WFIP-2 действительно не было применено машинного обучения. Мы строго пытались улучшить существующие модели численного прогнозирования», – сказал он. «Но я думаю, что не пройдет много времени, пока модели машинного обучения не превзойдут прогностическую точность текущих моделей численного прогнозирования».

Точные способы применения машинного обучения и искусственного интеллекта для улучшения классических моделей численного прогнозирования находятся все еще в начальной стадии, но перспективы этих технологий очевидны для Вильчака и других исследователей.

Например, Вильчак сообщил, что данные о конкретной топографии, такие как холодные водоемы, найденные в ущелье реки Колумбия, имеют ограниченную применимость к возможному изучению ветра в других местах, например, на горных ветровых фермах в северной части штата Нью-Йорк.

Однако будущие исследователи (или эксплуатационные метеорологи), использующие ML в подобных топографиях где угодно в мире, могут использовать такие исходные данные вместе с данными реанализа.

«В этом смысле, полевые программы, такие как WFIP, могут быть важными для предоставления измерений, которые могут быть использованы алгоритмами ML для попытки улучшить прогнозы», – сказал Вильчак.

Добавление таких данных не обязательно должно быть вычислительно затратным; в обзорной статье, освещающей усилия по внедрению ИИ в национальную службу погоды в Соединенных Штатах, опубликованной в бюллетене Американского метеорологического общества в августе 2023 года, Пол Дж. Реббер и Стефан Смит ссылались на исследование, в котором использовалась модель глубокого обучения, обученная данными реанализа, которая сгенерировала 85 800 возобновленных прогнозов за несколько часов на одном графическом процессоре.

Спутники и исследования, вдохновленные МО

Позднее лето и начало осени на северном полушарии – пиковое время образования тропических штормов и ураганов, которые могут оказаться безобидными и уйти в море или принести разрушительные последствия на суше, уничтожив имущество и причинив широкомасштабные повреждения и потери жизни. Ураган Ян, категории 4 с продолжительными ветрами в 150 миль в час при выходе на сушу во Флориде в сентябре 2022 года, унес жизни 160 человек на Кубе и в США и причинил ущерб в размере от 50 до 65 миллиардов долларов. Два наиболее широко используемых модели прогнозирования, GFS и Euro, имели различные предсказания относительно того, где ураган ударит по земле, что могло бы повлечь больший счет жизней, чем ожидалось.

Один из самых мощных ураганов 2023 года, Ураган Ли, имел потенциал быть также катастрофическим и трудным для прогнозирования. Когда он сталкивался в южной части Атлантического океана, представляя угрозу для большой территории северо-восточного побережья США и Канады, американские исследователи в области искусственного интеллекта в метеорологии сообщили о том, что их работы могут сделать прогнозирование таких ураганов проще.

«Абсолютно да, наша работа может помочь в сборе данных о ураганах, таких как Ли», – сказал Ксюбин Цэн, директор центра климатической динамики и гидрометеорологии Университета Аризоны, о недавнем исследовании, которое провел он и его исследовательская группа. Они использовали данные инфракрасных спутниковых изображений для прогнозирования скоростей ветра на разных высотах с использованием движения водяных паров. Главный автор исследования, исследовательский ученый Амир Ойед, разработал алгоритмы машинного обучения для обработки изображений. Сравнение с измерениями метеозондов показало, что извлечения ветров, полученные с помощью их метода, находились в пределах погрешности существующих спутниковых продуктов и превосходили их по вертикальному разрешению.

«Частично причина, по которой работы, подобные нашей, могут быть ценными, заключается в том, что над открытым океаном у вас нет реальных наблюдений за ветром», – сказал Цэн. «Вот почему Национальная администрация океанической и атмосферной администрации США тратит так много денег каждый ураган сезон, чтобы отправить самолеты для проведения измерений».

Кристиан Лессиг, главный ученый компании AtmoRep, амбициозного нового европейского многоинститутного проекта прогнозирования погоды на основе ИИ, сказал, что такая технология может действительно стать достоянием для прогнозирования сильных погодных явлений. «Может быть невозможно точно предсказать, куда пойдет ураган, но вы можете делать лучшие вероятностные прогнозы. Поскольку модели искусственного интеллекта дешевле, чем обычные модели, вы можете создавать гораздо большие ансамбли и получать лучшую вероятность перемещения урагана».

Проекты Цэня и Лессига могут представлять собой две стороны изучения ИИ в прогнозировании ветра. Команда Цэня рассмотрела относительно небольшие изображения для получения прогнозов с помощью компьютерного зрения ветра на разных высотах в заданной вертикальной полосе, что ранее было невозможным с применением доступных для оперативного прогноза метеорологических инструментов. Благодаря счастливой пролонгированной сроку службы одного из спутников NOAA, который находился на одной из одного круга, но в 50 минут от нового, команда Цэня смогла использовать дифференцированные пикселированные данные для определения движения водяных паров, которые зависят от того, как ветры перемещают пары, и не видны человеческому глазу.

С другой стороны, AtmoRep был вдохновлен принципами больших языковых моделей (LLM). Его создатели задумываются об обучении одной генеративной нейронной сети, которая представляет и описывает все атмосферные динамики, включая ветер; ее модульный характер позволяет исследователям и синоптикам извлекать различные элементы, включая ветер, осадки, температуру и так далее. Однако создание такой модели является вызовом. Она должна работать с более сложными процессами и наборами данных, чем модели обработки естественного языка; модель имеет 3,5 миллиарда параметров.

AtmoRep обучается на наборе данных переработки прогноза погоды (re-analysis dataset) ERA5 Европейского центра по климатологии (ECMWF), включающем почасовые оценки атмосферных параметров, таких как температура воздуха, давление и скорость ветра на разных высотах. В нем также содержатся поверхностные параметры, такие как осадки, содержание влаги в почве, высота океанских волн и температура поверхности моря, охватывающие период с января 1940 года по настоящее время.

В целях снижения субъективных искажений в тренировочных данных AtmoRep также может использовать современные наблюдательные данные, как предположил Вильчак; в их предварительной версии введения в проект, которая была пересмотрена в начале сентября, команда AtmoRep представила данные о дождях из радиолокационной системы RADKLIM немецкой национальной службы погоды. Результаты показали, что предсказания AtmoRep по охвату и форме полей осадков гораздо ближе к данным RADKLIM, чем к исходным данным ERA5.

По мнению Лессига, исследования, подобные исследованию Цэн, могут быть очень полезными для внедрения в нейронные сети, такие как AtmoRep.

“Одним из преимуществ машинного обучения является его способность объединять разные источники данных в единую модель нейронной сети, например LLM, которые обучаются на текстах из разных источников, или модели текст-изображение, которые объединяют текст и изображения в абстрактное внутреннее представление”, – сказал он. “Из этого можно предположить, что обучение по реанализу и данным, полученным Юэдом и его коллегами, можно объединить, чтобы обогатить друг друга”.

Лессиг отметил, что относительная грубость изображений команды Цэн – 1 градус, или 100 километров – ограничивала их полезность при приведении к меньшим масштабам (техника использования моделей на малых пространственных масштабах, таких как отдельные водоразделы, на основе данных моделей большой пространственной разрешимости). Однако, по его словам, другие спутниковые измерения имеют разрешение 1-5 км, а системы наблюдения за землей работают с разрешением около 10 м. Лессиг надеется, что намерение команды сделать код AtmoRep общедоступным исходным кодом может побудить других участников внести свой вклад и получить данные и код в рамках настоящей модели сообщества.

Работа команды Цэн и проекты WFIP могут стать основой для такого сообщества. Цэн говорит, что результаты работы его команды являются демонстрацией осуществимости будущей спутниковой миссии, в которой они надеются получить разрешение 10 км, и добавляет, что возросшая взаимовлияние метеорологии и исследований в области машинного обучения находится на захватывающем перекрестке.

“Моя группа не является разработчиком самих технологий, мы использовали их из области компьютерных наук”, – сказал Цэн. “Так работает наука. Мы учимся друг у друга”.

Грегори Гот – писатель из Оквила, Коннектикут, специализирующийся на науке и технологиях.