Генеративное искусственное интеллект в индустрии здравоохранения нуждается в доле объяснимости

Генеративный ИИ в здравоохранении нуждается в объяснимости

Замечательная скорость, с которой текстовые генеративные инструменты искусственного интеллекта могут выполнять задачи высокого уровня в письменной и устной коммуникации, вызывает интерес у компаний и потребителей. Однако процессы, которые происходят за кулисами и обеспечивают эти впечатляющие возможности, могут сделать использование генеративного искусственного интеллекта в чувствительных отраслях, таких как страхование, финансы или здравоохранение, рискованным без должной осторожности.

Некоторые из наиболее наглядных примеров этого можно найти в области здравоохранения.

Такие проблемы обычно связаны с обширными и разнообразными наборами данных, используемыми для обучения больших языковых моделей (Large Language Models, LLM) – моделей, на которых основываются текстовые генеративные инструменты искусственного интеллекта для выполнения задач высокого уровня. Без явного вмешательства программистов эти LLM сканируют данные без разбора с различных источников в интернете, чтобы расширить свою базу знаний.

Такой подход наиболее подходит для низкорисковых потребительских случаев использования, в которых конечной целью является направление клиентов к желательным предложениям с высокой точностью. Однако все больше и больше больших наборов данных и запутанные маршруты, по которым модели искусственного интеллекта генерируют свои результаты, затрудняют объяснимость, которая необходима для того, чтобы больницы и поставщики здравоохранения могли отслеживать и предотвращать возможные неточности.

• AnomalyGPT Обнаружение промышленных аномалий с использованием LVLM
• MLCommons представил новый бенчмарк-тест скорости для запуска моделей искусственного интеллекта.
• LLMOps Шаблоны инженерии производственных задач с Hamilton

В данном контексте под объяснимостью понимается возможность понимать логические пути конкретной языковой модели. Здравоохранение профессионалы, стремящиеся использовать поддерживающие генеративные инструменты искусственного интеллекта, должны иметь возможность понять, как их модели получают результаты, чтобы пациенты и персонал обладали полной прозрачностью во время различных процессов принятия решений. Другими словами, в отрасли, где на кону стоят жизни, ставки слишком высоки для профессионалов, чтобы неправильно интерпретировать данные, используемые для обучения их инструментов искусственного интеллекта.

К счастью, есть способ обойти сложности объяснимости генеративного искусственного интеллекта – для этого просто требуется больше контроля и фокусировки.

Тайна и скептицизм

В генеративном искусственном интеллекте понимание того, как LLM переходит от точки А – ввода – к точке Б – вывода, гораздо сложнее, чем с не-генеративными алгоритмами, которые работают по более установленным шаблонам.

Генеративные инструменты искусственного интеллекта устанавливают бесчисленные связи при прохождении от ввода к выводу, но для внешнего наблюдателя остается загадкой, как и почему они устанавливают определенные связи. Без возможности увидеть “процесс мышления”, который проходит алгоритм искусственного интеллекта, операторы не могут тщательно исследовать его логику и выявлять возможные неточности.

Кроме того, непрерывно расширяющиеся наборы данных, используемые алгоритмами машинного обучения, еще больше усложняют объяснимость. Чем больше набор данных, тем больше вероятность того, что система будет изучать как релевантную, так и нерелевантную информацию и выдавать “галлюцинации искусственного интеллекта” – ложные данные, которые отклоняются от внешних фактов и контекстуальной логики, но при этом убедительно.

В здравоохранении такие ошибочные результаты могут вызвать множество проблем, таких как неправильные диагнозы и неправильные назначения лекарств. Несмотря на этические, юридические и финансовые последствия, такие ошибки могут нанести ущерб репутации поставщиков здравоохранения и медицинских учреждений, которые они представляют.

Таким образом, несмотря на его потенциал для улучшения медицинских вмешательств, улучшения коммуникации с пациентами и повышения операционной эффективности, генеративный искусственный интеллект в здравоохранении остается под сомнением, и это правильно – 55% врачей не считают его готовым для медицинского использования, а 58% вообще не доверяют ему. Однако организации здравоохранения продвигаются вперед, и 98% из них интегрируют или планируют стратегию развертывания генеративного искусственного интеллекта в попытке смягчить влияние недостатка рабочей силы в секторе.

Контролировать источник

Здравоохранение часто оказывается в невыгодном положении в современной потребительской среде, где ценятся эффективность и скорость над надежными мерами безопасности. Последние новости о проблемах бесконтрольного сбора данных для обучения LLM, что приводит к судебным искам за нарушение авторских прав, привели эти вопросы на первый план. Некоторые компании также сталкиваются с обвинениями в том, что личные данные граждан использовались для обучения этих языковых моделей, что может нарушать законы о конфиденциальности.

Разработчики искусственного интеллекта для высокорегулируемых отраслей должны поэтому контролировать источники данных, чтобы ограничить возможные ошибки. То есть необходимо отдавать предпочтение извлечению данных из надежных проверенных отраслевых источников, а не случайному сканированию внешних веб-страниц без явного разрешения. Для здравоохранения это означает ограничение входных данных до страниц с часто задаваемыми вопросами (FAQ), CSV-файлов и медицинских баз данных – среди других внутренних источников.

Если это кажется в чем-то ограничивающим, попробуйте найти услугу на веб-сайте большой системы здравоохранения. Американские организации здравоохранения публикуют сотни, а то и тысячи информационных страниц на своих платформах; большая часть из них настолько скрыта, что пациенты на самом деле никогда не смогут к ним обратиться. Генеративные инструменты искусственного интеллекта, основанные на внутренних данных, могут удобно и без проблем предоставлять эту информацию пациентам. Это выгодно для всех сторон, так как здравоохранительная система наконец-то видит возврат от этого контента, а пациенты могут мгновенно и без усилий находить нужные услуги.

Что дальше с генеративным искусственным интеллектом в регулируемых отраслях?

Здравоохранение может получить множество преимуществ от генеративного искусственного интеллекта.

Рассмотрим, например, широко распространенное выгорание, которое накрыло американский здравоохранительный сектор в последнее время – к 2025 году примерно 50% рабочей силы планирует уволиться. Чат-боты, работающие на генеративном ИИ, могут помочь снизить нагрузку и сохранить доступ перегруженных команд к пациентам.

С точки зрения пациентов, генеративный ИИ имеет потенциал улучшить услуги колл-центров медицинских учреждений. ИИ-автоматизация может решать широкий спектр вопросов через различные контактные каналы, включая часто задаваемые вопросы, проблемы с информационными технологиями, пополнение фармацевтических запасов и направления к врачам. Кроме раздражения от ожидания на линии, только около половины пациентов в США успешно решают свои проблемы с первого звонка, что приводит к высоким показателям отказов и ограниченному доступу к медицинской помощи. Низкий уровень удовлетворенности клиентов создает дополнительное давление на отрасль для принятия мер.

Для того чтобы отрасль действительно получила преимущества от внедрения генеративного ИИ, медицинские учреждения должны обеспечить намеренную реструктуризацию данных, к которым имеют доступ локальные модели их ИИ.