Баланс между сложностью и истиной в искусственном интеллекте что вам нужно знать
Баланс между сложностью и истиной в искусственном интеллекте всё, что вам нужно знать
Для ученых-данных надежность – священная грааль. Если мы представляем искусственный интеллект как программное обеспечение, которое “обучается на примерах”, а не по инструкциям, то выбор “правильных” примеров является ключевым фактором для построения хорошо работающей системы.
Это данные, которые отражают проверенные примеры правильного результата. Грунтовая истина подразумевает:
- Есть только одна запись для данного примера.
- У нас есть определение или рубрика, которые применяются универсально. Например, когда изображение помечено как кошка, у нас есть четкие рекомендации о том, как обрабатывать граничные случаи, такие как “тигры” или рисунки кошек в комиксах.
- Мы имеем какую-то гарантию, что данные точны. Например, здесь нет опечаток, ошибок измерения, и метод, с помощью которого они были сгенерированы, надежен.
Определение грунтовой истины уже сложно сделать с помощью таблиц (табличных) данных, но это становится еще более сложным, когда ваши данные и цели становятся более субъективными.
- Функции активации и нелинейность Нейронные сети 101
- «Почему ваша тряпка не надежна в производственной среде»
- Овладение интеграцией данных из систем SAP с быстрым проектированием
По мере разработки более сложных моделей искусственного интеллекта “корректность” становится более субъективной. Например, если я попросил бы вас суммировать эту статью в трех предложениях, вероятно, я получил бы множество разных, одинаково правильных ответов, а возможно, и несколько плохих. Из-за этого у нас также возникают трудности в построении доверия между заинтересованными сторонами и моделями. Продолжайте чтение, чтобы я разобрал эту проблему, сосредоточившись на грунтовой истине и том, что должны знать заинтересованные стороны, чтобы быть эффективными партнерами команд по науке о данных.
Проблема сложности и грунтовой истины
Для ученых-данных грунтовая истина является базовой линией, по которой мы измеряем производительность модели.
С относительно простыми целями, например, предсказанием будет ли пациент госпитализирован повторно в течение 30 дней, мы можем наблюдать, что происходит на самом деле – в данном случае через 30 дней. Однако, по мере сложности целей, таких как рекомендация среди набора предметов или резюмирование клинических записей, определение грунтовой истины становится очень субъективным, так как можно наблюдать множество одинаково правильных ответов.
На следующем графике изображена связь между сложностью данных, сложностью целей и грунтовой истиной. С одной стороны у нас есть типы данных, включая таблицы, документы, фотографии, аудио и видео, а с другой – распространенные цели искусственного интеллекта, включая измерение, предсказание, рекомендацию и создание.
С увеличением сложности данных, их становится сложнее искать.
Примечание: Моя оранжевая линия является метафорической и не имеет математического обоснования, но надеюсь, вы понимаете, о чем я.
И по мере того, как модели выходят за оранжевую дугу, риски возрастают, и определение грунтовой истины становится более сложным. Это еще более осложняется при масштабировании (размере набора данных и количестве предсказаний).
Мы видим, что все больше генеративных искусственных интеллектов относится к этой категории.
Например, в одном случае студент-асиатско-американец из MIT попросил искусственный интеллект сделать его портрет более профессиональным. Он сгенерировал изображение, почти идентичное его оригинальному селфи, но с более светлой кожей и голубыми глазами – чертами, придающими ему внешность кавказца.
Какова была базовая линия этой модели, когда она решала, что является профессиональным и непрофессиональным внешним видом? Она правильна? Она отражает мир, в котором мы живем? Она соответствует миру, в котором мы хотим жить?
Все эти вопросы мы сталкиваемся все чаще с генеративным искусственным интеллектом, когда мы определяем грунтовую истину в разрабатываемых нами моделях машинного обучения. И когда грунтовая истина становится более субъективной, становится сложно обнаруживать неожиданные результаты – что, в конечном счете, приводит к уменьшению доверия к модели.
>> Связанный ресурс: Как создать доверие между создателями и пользователями искусственного интеллекта
Что делать, когда данные и цели становятся сложнее
Понимание уровня сложности данных и целей, а также того, как оба эти фактора влияют на истину, полезно, но что делать, когда мы обнаруживаем, что у нас есть модели, которые попадают в верхнюю правую четверть нашего графика выше?
Вот лишь несколько стратегий, которые могут применять специалисты по данным и руководители бизнеса, чтобы определить надежную истину и построить доверие к более сложным моделям машинного обучения.
Развивайте грамотность в области искусственного интеллекта
Если мы хотим, чтобы заинтересованные стороны интуитивно понимали, почему им нужно участвовать в выборе примеров, им нужно знать, как выглядит истинная информация. Грамотность в области искусственного интеллекта является инструментом для развития этой интуиции.
Грамотность в области искусственного интеллекта относится к степени понимания и ознакомленности людей с концепциями и технологиями искусственного интеллекта, а также с их последствиями. Это важный компонент понимания и доверия моделям машинного обучения, но исследования показали, что менее 25% работников обладают основной грамотностью в области данных.
Развитие грамотности в области данных и ИИ внутри вашей организации, через образовательные семинары, такие как серия Making Friends with Machine Learning от Касси Козырковой и ее новый курс, Decision Intelligence, или информативные статьи, значительно повышают уровень принятия ИИ и доверия сотрудников к основанным на ИИ инициативам.
Примените процесс управления рисками, включающий испытания на надежность
По мере развития моделей в сложности, применение процесса управления рисками, включающего испытания на надежность может помочь нам выявить неожиданные способы, которыми модели могут разрушиться.
Точно так же, как инженеры в аэрокосмической отрасли испытывают крылья самолета в экстремальных условиях, создатели ИИ должны тратить время на разработку правильных испытаний или сценариев, чтобы понять, где модели ИИ могут выйти из строя, а затем ясно сообщать заинтересованным сторонам о возможных рисках использования этих систем.
Фреймворк управления рисками ИИ от NIST – это прекрасный пример оценки риска для организаций. Он включает градацию сложности цель и базовых данных, чтобы команды могли принять предупредительные меры и понять, насколько далеко им нужно идти при определении истинной информации.
Разработайте практику наблюдаемости
Когда у нас дело имеет дело с простыми решениями и простыми данными, мы очень быстро можем проверить, насколько хорошо модель справилась. Например, если мы строим модель, которая предсказывает, будет ли веб-пользователь нажимать кнопку “купить” в конце своей сессии, через несколько минут мы получаем ответ. Они либо нажали на нее, либо нет, и мы можем практически мгновенно проверить, что произошло.
Однако с увеличением сложности прогнозирования даже незначительно становится сложнее проверять ответы. Например, если мы хотим предсказать повторное пребывание* пациента, нам придется ждать 30 дней, прежде чем мы получим подтвержденный ответ на вопрос, действительно ли этот пациент попал в больницу снова – что означает, что нам также нужно подождать 30 дней, прежде чем мы сможем выбрать примеры пациентов, которые повторно пребывали для моделирования.
Что если пациент переезжает в другой штат в течение этого 30-дневного периода и его пребывание наблюдать невозможно? Какие другие последствия для долгосрочных периодов, таких как 60 дней или несколько месяцев?
После запуска моделей в работу и получения прогнозов, практика наблюдаемости в машинном обучении является необходимой, чтобы сравнивать предсказания модели с тем, что на самом деле произошло по двум причинам.
- Продолжать разрабатывать большой набор данных с хорошими примерами записей (привет, истинная правда, мы видим вас).
- Оценивать, насколько хорошо модели на самом деле выполняют свои функции.
*Повторные госпитализации показывают вероятность повторной госпитализации пациента в течение 30 дней после госпитализации.
Легко увлечься разработкой более сложных моделей машинного обучения, но когда дело касается построения доверия между заинтересованными сторонами и ИИ, иногда простое решение является лучшим вариантом. А если проблема действительно требует более сложной модели, будьте готовы потратить время и ресурсы на тщательное определение истинной правды.
Об авторе: Кал Аль-Дхубайб – всемирно признанный специалист в области науки о данных и стратегии искусственного интеллекта в области надежного искусственного интеллекта, а также основатель и генеральный директор Pandata, консалтинговой, дизайнерской и разработческой компании из Кливленда.
