Мультипланарный UNet один UNet для всех задач сегментации в 3D (даже при наличии недостаточного объема данных) – низкоразвёрнутый подход
Мультипланарный UNet один подход для всех задач сегментации в 3D (включая недостаточный объем данных) - низкоразвёрнутая модель
После того, как я начал свою аспирантуру, первым проектом по сегментации медицинских изображений, с которым я столкнулся в реальном мире, была сегментация МРТ коленного сустава. У меня было всего 39 помеченных изображений МРТ для обучения и проверки, и 20 помеченных изображений для заключительного тестового набора. Кроме того, мой научный руководитель добавил:
«У нас есть почти 200 непомеченных изображений, на которых будет тестироваться наша модель сегментации»
После встречи я сел за стол и подумал, что мне делать 😧? 39 изображений – очень мало, поэтому я сделал то, что делают все: начал с UNet, чтобы установить базовый результат. После экспериментов с простым 3D UNet и настройки гиперпараметров через несколько итераций обучения, коэффициент сходства Дайса на проверке достиг максимального значения 0,65. Другие варианты UNet, такие как Res UNet и Attention UNet, не смогли достичь такой же производительности, в основном потому, что сложным моделям требуется больше данных, чтобы быть эффективными, и они довольно неэффективны с таким ограниченным набором данных.
На следующей очной встрече я показал эти результаты моему научному руководителю, и он улыбнулся и попросил меня посмотреть на MPUNet (Multi-planar UNet), продвинутую версию UNet для сегментации 3D медицинских изображений. Эту удивительную библиотеку создали: Матиас Перслев, Эрик Дам, Акшай Пая и Кристиан Игель. Если вы хотите узнать больше об этом, пожалуйста, посмотрите здесь: https://doi.org/10.1007/978-3-030-32245-8_4.
- DINOv2 для сегментации пользовательского набора данных Подробное руководство.
- Топ 7 неотъемлемых шпаргалок для успешного собеседования по науке о данных
- 10 лучших предобученных моделей для встраивания изображений, которые должен знать каждый data scientist
После небольших (может быть, даже больших 😅) трудностей с установкой (потому что требуется конкретная версия Python и TensorFlow), она, наконец, сработала. Я был поражен увидеть значение коэффициента Дайса на финальном тесте больше 0,80 😎. Статья находится еще на стадии анализа, я поделюсь ею, как только она будет опубликована. Если у вас мало данных и вы боретесь с получением хорошего значения коэффициента Дайса, то вот удивительный метод и план атаки для вас. В этот раз вам не придется тратить часы на установку и заставить это работать. 🙂
План атаки
- Запуск MultiPlanar UNet.
- Как установить библиотеку?
- Как ее использовать?
Работа MultiPlanar UNet:
Перед тем, как применить MPUNet, давайте узнаем, как она работает. MPUNet состоит из 3 основных частей:
