Это исследование искусственного интеллекта AI предлагает SAM-Med2D самые всеобъемлющие исследования по применению SAM к медицинским 2D изображениям

Это исследование AI предлагает самые всеобъемлющие исследования по применению SAM к медицинским 2D изображениям.

Распознавание и отделение различных тканей, органов или интересующих областей является важным элементом медицинской сегментации изображений. Для более точного диагностирования и лечения врачи могут использовать точную сегментацию, чтобы помочь им определить и точно обозначить участки заболевания. Кроме того, квантитативный и качественный анализ медицинских изображений предоставляет полное представление о морфологии, структуре и функции различных тканей или органов, что позволяет изучать заболевания. Из-за особенностей медицинского изображения, таких как широкий спектр модальностей, сложная архитектура тканей и органов, а также отсутствие размеченных данных, большинство существующих подходов ограничены определенными модальностями, органами или патологиями. 

Из-за этих ограничений алгоритмы сложно обобщить и адаптировать для использования в различных клинических контекстах. Недавно в сообществе искусственного интеллекта возник интерес к моделям масштаба больших размеров. Разработка общих моделей искусственного интеллекта, таких как ChatGPT2, ERNIE Bot 3, DINO, SegGPT и SAM, позволяет использовать одну модель для различных задач. С помощью SAM, самой последней крупномасштабной модели зрения, пользователи могут создавать маски для определенных интересующих областей путем интерактивного щелчка, рисования рамок или использования вербальных подсказок. Особое внимание уделяется ее возможностям нулевого и малого количества обучающих данных на естественных фотографиях в различных областях. 

Некоторые усилия также были сосредоточены на возможностях нулевого количества обучающих данных SAM в контексте медицинского изображения. Однако SAMу сложно обобщить многомодальные и многокомпонентные медицинские наборы данных, что приводит к переменной производительности сегментации на разных наборах данных. Это связано с значительной разницей доменов между естественными и медицинскими изображениями. Причиной этого может быть использование методов сбора данных: из-за их специфического клинического назначения медицинские изображения получаются с использованием определенных протоколов и сканеров и отображаются в различных модальностях (электроны, лазеры, рентген, ультразвук, ядерная физика и магнитно-резонансная томография). В результате эти изображения значительно отличаются от реальных изображений, так как они зависят от различных физических особенностей и источников энергии. 

Естественные и медицинские изображения существенно отличаются по интенсивности пикселей, цвету, текстуре и другим признакам распределения, как видно на рисунке 1. Поскольку SAM обучается только на естественных фотографиях, ему требуется более специализированная информация о медицинском изображении, поэтому его нельзя сразу применять в медицинской сфере. Обеспечение SAM медицинской информацией является сложным из-за высокой стоимости разметки и неоднородного качества разметки. Подготовка медицинских данных требует предметной экспертизы, и качество этих данных сильно разнится между учреждениями и клиническими исследованиями. Количество медицинских и естественных изображений значительно различается из-за этих трудностей. 

Диаграмма в статье 1 сравнивает объем данных общедоступных наборов естественных изображений и наборов медицинских изображений. Например, Totalsegmentor, самый большой общедоступный набор данных сегментации в медицинской области, также имеет значительный разрыв по сравнению с Open Image v6 и SA-1B. В данном исследовании их целью является перенос SAM с естественных изображений на медицинские изображения. Это позволит исследователям в области анализа медицинских изображений исследовать и улучшать бенчмарк-модели и оценочные рамки. Для достижения этой цели исследователи из Сычуаньского университета и Шанхайской лаборатории искусственного интеллекта предложили SAM-Med2D, самое всеобъемлющее исследование применения SAM к медицинским 2D изображениям.