Мозги операции Atlas Meditech картографирует будущее хирургии с помощью ИИ и цифровых двойников
ИИ и цифровые двойники от Atlas Meditech будущее хирургии на карте мозгов
Как спортсмены готовятся к игре или актеры репетируют перед выступлением, так и хирурги готовятся к операции.
Теперь Atlas Meditech позволяет нейрохирургам испытать новый уровень реализма в подготовке к операциям с помощью искусственного интеллекта и физически точных симуляций.
Atlas Meditech, платформа для нейрохирургического интеллекта, использует инструменты, в том числе медицинский фреймворк MONAI и трехмерную разработку на платформе NVIDIA Omniverse, для создания платформ, обеспечивающих поддержку решений на основе искусственного интеллекта и реалистичной репетиции операций. Цель – улучшение результатов хирургических вмешательств и безопасности пациентов.
«Atlas предоставляет набор мультимедийных инструментов для нейрохирургов, позволяя им ментально репетировать операцию накануне реальной хирургической операции», – сказал доктор Аарон Коэн-Годал, основатель Atlas Meditech и несторганческого подразделения Neurosurgical Atlas. – «С помощью ускоренных вычислений и цифровых двойников мы хотим превратить эту ментальную репетицию в очень реалистичные симуляции».
- Развёртывание вашей модели машинного обучения в облачной среде
- Начало работы с PyTorch в 5 шагах
- Поиск уверенности модели можно ли доверять черному ящику?
Neurosurgical Atlas предлагает кейс-стадии, хирургические видео и трехмерные модели мозга более миллиону онлайн-пользователей. Доктор Коэн-Годал, также профессор нейрохирургии в школе медицины Университета Индианы, оценивает, что более 90% программ подготовки к хирургии мозга в США, а также десятки тысяч нейрохирургов в других странах, используют Atlas в качестве ключевого ресурса во время интернатуры и на начальном этапе своей хирургической карьеры.
Программное обеспечение Pathfinder от Atlas Meditech интегрирует алгоритмы искусственного интеллекта, которые могут предлагать безопасные хирургические пути для экспертов, передвигающихся через мозг, чтобы достичь очага поражения.
И с помощью NVIDIA Omniverse, платформы для соединения и создания индивидуальных трехмерных конвейеров и приложений метавселенной, команда стремится создать индивидуальные виртуальные модели мозга пациентов для репетиции операции.
Индивидуальные трехмерные модели человеческих мозгов
Одним из ключевых преимуществ продвинутых симуляций Atlas Meditech, будь то на экране или в погружающей виртуальной реальности, является возможность настраивать симуляции, чтобы хирурги могли практиковаться на виртуальном мозге, соответствующем мозгу пациента по размеру, форме и местоположению очага поражения.
«Анатомия каждого пациента немного отличается», – говорит доктор Коэн-Годал. – «Теперь при помощи физики и продвинутой графики мы можем создавать пациенто-специфичную модель мозга и работать с ней, чтобы увидеть и виртуально оперировать опухоль. Точность физических свойств помогает повторить опыт реального мира во время операции».
Для создания цифровых двойников мозгов пациентов инструмент Pathfinder Atlas использовал MONAI Label, который может помочь радиологам автоматически размечать МРТ и компьютерные томографические снимки, чтобы произвести сегментацию нормальных структур и опухолей.
«MONAI Label – это вход в любой проект в области здравоохранения, потому что он дает нам возможность сегментировать критические структуры и защищать их», – говорит доктор Коэн-Годал. – «Для Atlas мы обучаем MONAI Label действовать как глаза хирурга, выделяя то, что является нормальным сосудом, и что – опухолью на снимке конкретного пациента».
С помощью сегментированного просмотра мозга пациента, Pathfinder Atlas может изменять форму своей трехмерной модели мозга, чтобы соответствовать конкретной анатомии пациента, демонстрируя, как опухоль деформирует нормальную структуру тканей мозга.
На основе визуализации — которую радиологи и хирурги могут изменять для повышения точности — Pathfinder Atlas предлагает безопасные хирургические подходы для достижения и удаления опухоли без повреждения других частей мозга. Каждый подход ссылается на сайт Atlas, который включает написанное руководство операционного плана.
«Решения, основанные на искусственном интеллекте, могут сделать большую разницу в навигации по сложной трехмерной структуре, где каждый миллиметр критичен», – говорит доктор Коэн-Годал.
Реалистичные условия репетиции для практикующих хирургов
Atlas Meditech использует NVIDIA Omniverse для разработки виртуальной операционной комнаты, в которой хирурги могут погрузиться в реалистичную среду для репетиции предстоящих процедур. В симуляции хирурги могут изменять положение пациента и оборудования.
Используя VR-гарнитуру, хирурги смогут работать в этой виртуальной среде, последовательно выполнять процедуру и получать обратную связь о том, насколько точно они придерживаются целевого пути, чтобы достичь опухоли. Алгоритмы искусственного интеллекта могут использоваться для прогнозирования того, как ткань мозга будет смещаться при использовании хирургических инструментов во время операции, и применять это оценочное смещение к симулированному мозгу.
«Возможность позволить хирургам войти в виртуальное 3D-пространство, сделать разрез черепа и репетировать операцию с имитацией мозга, который имеет очень похожие физические свойства на пациента, была бы огромной», сказал доктор Коэн-Гадоль.
Для лучшего имитирования физических свойств мозга команда использовала NVIDIA PhysX, передовой механизм физического моделирования в реальном времени, который является частью NVIDIA Omniverse. С использованием тактильных устройств была проведена экспериментация с добавлением тактильной обратной связи в виртуальную среду, имитирующую ощущение работы с мозговой тканью.
Представление ИИ и робототехники в будущем обучении хирургии
Доктор Коэн-Гадоль считает, что в ближайшие годы модели ИИ смогут дополнительно улучшить хирургию, предоставляя дополнительные понимания во время процедуры. Примеры включают предупреждение хирургам о важных структурах мозга, находящихся рядом с областью их работы, отслеживание медицинских инструментов во время операции и предоставление руководства для следующих шагов в хирургии.
Компания Atlas Meditech планирует исследовать платформу NVIDIA Holoscan для потоковой передачи приложений ИИ, чтобы обеспечить эти реально-временные интрузивные исследования. Применение анализа ИИ к действиям хирурга во время операции может предоставить хирургу полезную обратную связь для улучшения их техники.
Помимо использования в хирургии для репетиции операций, доктор Коэн-Гадоль говорит, что цифровые двойники мозга и операционной комнаты могут помочь обучать интеллектуальные медицинские инструменты, такие как роботы-микроскопы с помощью Isaac Sim, приложение для симуляции робототехники, разработанное на основе Omniverse.
Просмотрите презентацию доктора Коэн-Гадоля на NVIDIA GTC.
