Монокулярная оценка глубины для прогнозирования рельефов поверхности Марса

Monocular Depth Estimation for Predicting Mars Surface Relief

Интересное применение моделей оценки монокулярной глубины

В литературе было рассмотрено несколько подходов к оценке высоты поверхности по одиночному изображению. В предыдущей статье я рассказывал о том, как можно предсказать глубину одиночного 2D-изображения с помощью модели оценки монокулярной глубины. Однако, когда входным изображением для модели является изображение определенной поверхности, предсказание представляет собой цифровую модель рельефа (DEM). В моей первой научной работе я показал, как с помощью подходов глубокого обучения можно получить DEM поверхности Марса на основе 2D-изображений в градациях серого. Чтобы лучше понять идею, которую я собираюсь предложить, я предлагаю вам сначала попробовать демонстрационную версию проекта здесь.

Введение

Как подробнее рассмотрено в другой статье, DEM поверхности представляет собой сетку значений высот, где каждая ячейка хранит высоту определенной точки на поверхности:

DEM обычно представляются графически с использованием цветовых карт. На изображении выше, самые высокие точки обозначены красным цветом, а самые низкие точки – фиолетовым.

С другой стороны, модели оценки монокулярной глубины используются для оценки расстояния каждого пикселя изображения от камеры (даже от камеры спутника), которая сделала это изображение:

• Как искусственный интеллект может переопределить ваши убеждения
• 6 ошибок в Pandas, которые молча говорят, что вы новичок
• Познакомьтесь с Modular Diffusion библиотекой на языке Python для проектирования и обучения моделей диффузии с использованием PyTorch.

Идея заключается в том, что спутниковое изображение поверхности может быть подано на вход модели оценки монокулярной глубины. Таким образом, можно предсказать DEM этой поверхности, потому что каждая точка выхода модели представляет собой расстояние (глубину), и высоты поверхности можно вывести, используя глубины (об этом позже).

Метод, рассмотренный в этой статье, может быть использован и для других поверхностей, а не только для Марса.

UAHiRISE

High-Resolution Imaging Science Experiment (HiRISE) – это камера на борту Mars Reconnaissance Orbiter (космического аппарата, обеспечивающего поддержку для…