«Переломить течение упадка коралловых рифов робот CUREE занимается глубоководным погружением с помощью глубокого обучения»

«Робот CUREE новое средство преодоления упадка коралловых рифов с помощью глубоководного погружения и глубокого обучения»

Исследователи погружаются в глубокое погружение в глубокое обучение буквально.

Автономная лаборатория робототехники и восприятия Woods Hole Oceanographic Institution (WHOI) (WARPLab) и MIT разрабатывают робота для изучения коралловых рифов и их экосистем.

Автономным подводным аппаратом (AUV) WARPLab, обеспечиваемым модулем NVIDIA Jetson Orin NX, является усилие крупнейшей частной океанологической исследовательской организации в мире, направленное на изменение уровня отката рифов.

По данным Инициативы по решению рифовых проблем WHOI, около 25% всех коралловых рифов в мире исчезли за последние три десятилетия, и большая часть оставшихся рифов под угрозой исчезновения.

Подводный робот CUREE (Curious Underwater Robot for Ecosystem Exploration), собирает визуальные, звуковые и другие окружающие данные вместе с дайверами, чтобы помочь понять влияние человека на рифы и морскую жизнь вокруг них. Робот запускает расширяющуюся коллекцию 3D-моделей рифов и отслеживает создания и растительную жизнь при помощи распределенного машинного обучения NVIDIA Jetson. Он также работает моделями для автономной навигации и сбора данных.

WHOI, чей подводный лодка впервые исследовала Титаник в 1986 году, разрабатывает своего робота CUREE для сбора данных с целью расширения масштабов усилий и содействия стратегиям уменьшения влияния. Океаническая исследовательская организация также исследует использование симуляции и цифровых двойников для лучшего воспроизведения условий на рифе и исследования решений, таких как NVIDIA Omniverse, платформа разработки для создания и связывания 3D-инструментов и приложений.

Создание цифрового двойника Земли в Omniverse, NVIDIA разрабатывает самый мощный компьютер с искусственным интеллектом для прогнозирования изменения климата, названный Earth-2.

Подводный искуственный интеллект: модель DeepSeeColor

Любой, кто занимался сноркелингом, знает, что видеть под водой не так ясно, как на суше. На большом расстоянии вода ослабляет видимый спектр света от солнца под водой, притупляя одни цвета больше, чем другие. В то же время частицы в воде создают туманное видение, известное как рассеяние обратно.

Команда из WARPLab недавно опубликовала научную статью о коррекции цветов подводного видения, которая помогает смягчить эти проблемы и поддерживает работу CUREE. Статья описывает модель DeepSeeColor, которая использует последовательность двух свёрточных нейронных сетей для снижения обратного рассеяния и корректировки цветов в реальном времени на борту NVIDIA Jetson Orin NX под водой.

“Графические процессоры NVIDIA занимают значительную часть нашего процесса, потому что, по сути, когда изображения поступают, мы используем DeepSeeColor для исправления цветов, и затем мы можем обнаружить рыбу и передать информацию учёным на поверхности на корабле”, – сказал Стюарт Джемисон, кандидат наук по робототехнике в Массачусетском технологическом институте и разработчик искусственного интеллекта в WARPLab.

Глаза и уши: обнаружение рыбы и рифов

CUREE оснащен четырьмя камерами, уровномерами давления и инерционными измерительными устройствами. GPS не работает под водой, поэтому он используется только для инициализации начального положения робота, находясь на поверхности.

Комбинация камер и гидрофонов в сочетании с моделями искусственного интеллекта, работающими на Jetson Orin NX, позволяет CUREE собирать данные для создания 3D-моделей рифов и подводных местностей.

Для использования гидрофонов для сбора аудиоданных CUREE нуждается в дрейфе с выключенным двигателем, чтобы не возникало помех в звуке.

“Он может построить пространственную карту звукового пейзажа рифа, используя звуки, издаваемые разными животными”, – сказал Йогеш Гирдхар, старший научный сотрудник WHOI, руководитель WARPLab. “В настоящее время (в постобработке) мы определяем, где все разговоры, связанные с биологической активностью в точках горячих точек”, – добавил он, указывая на все шумы морской жизни.

Команда проводит тренировку моделей обнаружения как аудио, так и видео, чтобы отслеживать существ. Но по особенному существу издается громкий шум, мешающий обнаруживать четкие аудиообразцы.

“Проблема в том, что под водой раздражают громкими щелками креветки,” – сказал Гирдхар. На суше это классическая проблема как разделить звуки от фоновых шумов известная как проблема коктейльной вечеринки. “Если только мы могли бы придумать алгоритм для удаления эффектов звуков щелканий креветок из аудиозаписей, но на данный момент у нас нет хорошего решения” – сказал Гирдхар.

Несмотря на то, что данных под водой немного, пионерская работа по обнаружению и отслеживанию рыб идет хорошо, сказал Леви Кай, кандидат наук в программе совместной работы МИТ и WHOI. Он сказал, что они используют полуподкрепленный подход к проблеме отслеживания морских животных. Отслеживание начинается с использования целей, обнаруженных с помощью нейронной сети обнаружения рыб, обученной на общедоступных данных для обнаружения рыб, которая тонко настраивается с помощью обучения переноса с использованием изображений, собранных CUREE.

“Мы управляем автомобилем вручную, пока не увидим животное, которое хотим отслеживать, а затем нажимаем на него, и полуподкрепленный трекер берет на себя управление,” – сказал Кай.

Jetson Orin – энергоэффективность приводит к CUREE

Энергоэффективность критическая для маленьких AUV, таких как CUREE. Примерно 25% доступной энергии тратится на потребности вычисления данных, а остальное время занимает движение роботов.

Как сказал Гирдхар, CUREE обычно работает до двух часов от одного заряда, в зависимости от задачи на рифе и требований к наблюдению. Он также участвует в погружении в Сент-Джон на Виргинских островах США.

Для улучшения энергоэффективности команда исследует использование искусственного интеллекта для управления датчиками таким образом, чтобы вычислительные ресурсы оставались активными при проведении наблюдений и переходили в режим сна в неактивном состоянии.

“Наш робот маленький, поэтому количество энергии, затрачиваемой на GPU-вычисления, действительно имеет значение – с помощью Jetson Orin NX наши энергетические проблемы исчезли, и наша система стала намного надежнее,” – сказал Гирдхар.

Разработка Isaac Sim для улучшения

Команда WARPLab экспериментирует с NVIDIA Isaac Sim, масштабируемым программным приложением для симуляции роботов и генерации синтетических данных, работающим на платформе Omniverse, для ускорения разработки автономности и наблюдения CUREE.

Основная цель – проводить простые симуляции в Isaac Sim, чтобы получить основу проблемы, которую необходимо смоделировать, а затем завершить обучение в реальном мире под водой, сказал Йогеш.

“В среде кораллового рифа нельзя полагаться на сонары – нам нужно подойти очень близко,” – сказал он. “Наша цель – наблюдать различные экосистемы и происходящие процессы”.

Понимание экосистем и создание стратегий смягчения

Команда WARPLab стремится сделать платформу CUREE доступной для других людей, чтобы они могли понять влияние человека на подводную среду и помочь создать стратегии смягчения.

Исследователи планируют изучить о закономерностях, которые возникают на основе собранных данных. CUREE позволяет автономному ученому собирать данные и обмениваться результатами с исследователями, сказал Джеймисон. “Ученый получает гораздо больше информации, чем если бы задача выполнялась вручную, когда приходится весь день за рулем и смотреть на экран,” – сказал он.

Гирдхар сказал, что экосистемы, такие как коралловые рифы, можно моделировать с помощью сети, где различные узлы соответствуют разным видам животных и типам местообитаний. Внутри этой сети происходят различные взаимодействия, и исследователи стремятся понять эту сеть, чтобы узнать о взаимоотношениях между разными животными и их местах обитания.

Надеются, что при помощи CUREE AUV будет собрано достаточно данных, чтобы полноценно понять экосистемы и их развитие со временем, а также как они могут быть затронуты гаванями, стоками пестицидов, выбросами углерода и дайвингом для туристов, – сказал он.

«Мы сможем лучше разработать и внедрить меры воздействия и определить, например, изменятся ли риф со временем, если мы посадим новые кораллы», — сказал Гирдар.

Узнайте больше о NVIDIA Jetson Orin NX, Omniverse и Earth-2.

Кредит изображения: Аустин Грин, Woods Hole Oceanographic Institution