«Модель основы для спутниковых изображений»
«Модель основы для космических изображений»
Модель Prithvi-100M IBM Geospatial AI Foundation для данных обсервации Земли NASA
Foundation модели – гибкие алгоритмы глубокого обучения, которые созданы для общих задач, а не непосредственно для конкретных задач. Обученные на большом количестве неотмеченных данных, они могут применяться к различным последующим задачам с минимальной настройкой. Foundation модели хорошо известны в естественной обработке языка (BERT, GPT-x) и обработке изображений (DALL-E).
В августе 2023 года NASA и IBM выпустили модель Geospatial AI Foundation для данных обсервации Земли NASA. Модель доступна в открытом доступе на Huggingface под названием Prithvi, в честь индуистской богини Матери-Земли. Она была обучена на данных спутников NASA – согласно IBM, доступно более 250 петабайт данных.
В этом блоге мы обсудим:
- Датасет NASA Harmonized Sentinel-2 Landsat, используемый для обучения,
- Архитектуру модели Prithvi-100M Geospatial AI Foundation,
- Процесс обучения на суперкомпьютере Vela от IBM,
- Примеры применения: наводнения и идентификация видов сельскохозяйственных культур.
Обучающие данные
Модель Geospatial AI Foundation обучалась на данных NASA Harmonized LandSat Sentinel-2.
- Эволюционный алгоритм – объяснение выборов
- Forward Pass & Backpropagation Нейронные сети 101
- Структурированное хранение и разбор вывода LLM с использованием языка Python
Sentinel-2 – это спутниковая миссия, координируемая Европейским космическим агентством, с двумя спутниками, находящимися на орбите, снимающими высококачественные изображения Земли. Она фокусируется на суше, прибрежных территориях и выбранных открытых водных пространствах. Спутники Landsat были запущены NASA для записи отражения поверхности. Гармонизированные данные объединяют данные обеих систем, что дает пространственное разрешение около 30 метров и среднее время повторного обнаружения два-три дня. Это разрешение достаточно для агрокультурного мониторинга, классификации землепользования и обнаружения природных бедствий.
Стандартные фотографии состоят из трех цветов: красного, зеленого и синего. Данные Sentinel-2 представлены в общей сложности 13 “цветами”, так называемыми полосами, охватывающими видимый, ближний инфракрасный и коротковолновый инфракрасный диапазон электромагнитного спектра. Выбранные полосы могут использоваться для идентификации разных объектов, например инфракрасных…
