Исследователи Microsoft предлагают MAIRA-1 Радиологическую мультимодальную модель для генерации радиологических отчетов по рентгенограммам грудной клетки (CXRs).

«Microsoft представляет MAIRA-1 новую радиологическую модель для генерации отчетов по рентгеновским снимкам грудной клетки (CXRs)»

“`html

Команда исследователей из Microsoft решает проблему генерации высококачественных отчетов по рентгенограммам груди (CXR), разработав радиологическую мультимодальную модель, названную MAIRA-1. Модель использует специфический для CXR исключительный кодировщик изображений и настроенный LLM на основе Vicuna-7B и аугментации данных, фокусирующейся на разделе “Находки”. Исследование признает сложности и предлагает, что будущие версии могут включать текущую и предыдущую информацию об исследованиях для сокращения галлюцинации информации.

Существующие методы, изучаемые в исследовании, включают использование LLM, обладающих мультимодальными возможностями, таких как PaLM и Vicuna-7B, для создания описательных радиологических отчетов на основе рентгенограмм груди. Процесс оценки включает традиционные метрики NLP, такие как ROUGE-L и BLEU-4, а также специфические для радиологии метрики, которые фокусируются на клинически значимых аспектах. Исследование подчеркивает важность предоставления подробных описаний “Находок”. Оно подчеркивает потенциал машинного обучения в генерации радиологических отчетов, а также устранение ограничений текущих методов оценки.

Метод MAIRA-1 объединяет модели видения и языка для генерации подробных радиологических отчетов на основе рентгенограмм груди. Этот подход учитывает специфические задачи создания клинических отчетов и оценивается с использованием метрик, которые измеряют качество и клиническую значимость. Результаты исследования свидетельствуют о том, что метод MAIRA-1 может улучшить точность и клиническую пользу радиологических отчетов, что представляет собой шаг вперед в использовании машинного обучения для медицинской диагностики.

• Исследователи из компании Microsoft и Грузинского Технического Университета представляют TongueTap мультимодальное распознавание жестов языка с помощью носимых устройств
• Исследователи Университета Калифорнии в Беркли создают ALIA прорыв в автоматизированном увеличении изображений с помощью языка для задач точной классификации
• Исследователи из Университета Калифорнии в Беркли представили метод RLIF обучение с подкреплением, основанное на взаимодействии и имитации.

Предлагаемый метод MAIRA-1 является мультимодальной моделью для генерации радиологических отчетов на основе рентгенограмм груди. Модель использует кодировщик изображений CXR, обучаемый адаптер и настроенный LLM (Vicuna-7B) для объединения изображений и языка для повышения качества и клинической полезности отчетов. Она использует аугментацию данных на основе текста с помощью GPT-3.5 для дополнительных отчетов, что дополнительно улучшает обучение. Метрики оценки включают традиционные меры NLP (ROUGE-L, BLEU-4, METEOR) и специфические для радиологии (RadGraph-F1, RGER, вектор ChexBert) для оценки клинической значимости.

MAIRA-1 показал значительное улучшение в генерации отчетов по рентгенограммам груди, что демонстрируется улучшением метрики RadCliQ и лексических метрик, соответствующих радиологам. Производительность модели варьируется в зависимости от классов “Находок”, наблюдаются успехи и вызовы. MAIRA-1 эффективно обнаруживает нюансы отказов, которые не улавливаются стандартными практиками оценки, что демонстрируется метриками оценки, описывающими лингвистические и специфические для радиологии аспекты. MAIRA-1 обеспечивает всестороннюю оценку отчетов по рентгенограммам груди.

В заключение, MAIRA-1 является высокоэффективной моделью для генерации отчетов по рентгенограммам груди, превосходящей существующие модели благодаря своему специфическому для области кодировщику изображений и способности четко и точно определять нюансированные “Находки”. Однако важно учитывать ограничения существующих практик и значение клинического контекста при оценке результатов. Рекомендуется использовать разнообразные наборы данных и несколько изображений для дальнейшего улучшения модели.

В будущих версиях MAIRA-1 может быть включена информация о текущих и предыдущих исследованиях для уменьшения возникновения галлюцинаций в сгенерированных отчетах, как показано в предыдущих работах с использованием GPT-3.5. Для снижения зависимости от внешних моделей для извлечения клинических сущностей, в будущем возможны исследования, основанные на обучении с подкреплением, для оптимизации клинической значимости. Рекомендуется расширенное обучение на больших и разнообразных наборах данных, а также учет нескольких изображений и видов для дальнейшего улучшения производительности MAIRA-1 в генерации нюансированных радиологических находок.

“`