Этот исследовательский кейс Microsoft демонстрирует, как Medprompt повышает специализированные возможности GPT-4 в медицине и других областях без специфического доменного обучения.

Исследовательский кейс Microsoft Как Medprompt расширяет возможности GPT-4 в медицине и других сферах без специального обучения в конкретной области

Исследователи Microsoft решают проблему повышения способности GPT-4 отвечать на медицинские вопросы без специализированного обучения. Они представляют Medprompt, который использует различные стратегии подсказок для повышения производительности GPT-4. Целью является достижение передовых результатов по всем девяти бенчмаркам в наборе MultiMedQA.

Это исследование расширяет предыдущие исследования медицинских возможностей GPT-4, в частности BioGPT и Med-PaLM, путем систематического исследования применения подсказок для улучшения производительности. Вариативность Medprompt продемонстрирована в различных областях, включая электротехнику, машинное обучение, философию, бухгалтерию, право, медицинскую сестринскую работу и клиническую психологию.

Исследование исследует применение подсказок для улучшения производительности GPT-4 в решении медицинских задач. Тщательный экспериментальный дизайн снижает переобучение, применяя методологию тестирования, аналогичную традиционному машинному обучению. Оценка наборов данных MultiMedQA с помощью Medprompt с разделением на просмотр и без просмотра показывает надежную обобщаемость к неизвестным вопросам. Исследование изучает производительность при увеличенной вычислительной нагрузке и сравнивает рациональные основы GPT-4 с Med-PaLM 2, раскрывая более продолжительные и подробные рассуждения в созданных выводах.

• Исследователи из университета Техаса продемонстрировали предсказание осложнений при имплантационной реконструкции с использованием машинного обучения
• Это исследование глубокого обучения раскрывает особые изменения в мозге у подростков с СДВГ прорыв в анализе МРТ-скана
• Исследователи Корнелльского университета раскрывают сведения о подсказках языковой модели глубокий погружение в то, как вероятности следующего токена могут раскрыть скрытый текст.

Medprompt улучшает производительность GPT-4 на наборах данных для ответов на медицинские вопросы, достигая результатов, сравнимых с MultiMedQA, и превосходя специалистические модели, такие как Med-PaLM 2, с меньшим количеством вызовов. С помощью Medprompt GPT-4 достигает снижения ошибок на 27% на наборе данных MedQA и впервые преодолевает отметку 90% по баллам. Техники Medprompt, включая динамический выбор в нескольких примерах, самосгенерированную цепочку мыслей и выбор шаффла-ансамбля, могут быть применены не только в медицине для улучшения производительности GPT-4 в различных областях. Расчетное экспериментальное проектирование позволяет снизить риск переобучения.

В заключение, Medprompt продемонстрировал исключительную производительность на наборах данных для ответов на медицинские вопросы, превосходя MultiMedQA и проявляя адаптивность в различных областях. Исследование подчеркивает важность оценки без просмотра для предотвращения переобучения и рекомендует дальнейшее исследование применения подсказок и настройки для использования фундаментальных моделей в важных областях, таких как здравоохранение.

В дальнейшей работе важно уточнить подсказки и возможности фундаментальных моделей для интеграции и составления малого числа примеров в подсказки. Также существует потенциал для синергии между применением подсказок и настройкой в критически значимых областях, таких как здравоохранение, и требуется исследование быстрой настройки и настройки как важных исследовательских направлений. Для абляционных исследований можно использовать игровую модель Shapley для распределения заслуг, и требуется дальнейшее исследование для расчета значений Shapley и анализа их применения в таких исследованиях.