Понятный искусственный интеллект расшифровка моделей «черного ящика»

Понятное искусственное интеллект расшифровывает модели «черного ящика»

Введение

В сегодняшнем мире, основанном на данных, машинное обучение играет все более важную роль в различных отраслях. Целью понятного искусственного интеллекта (XAI) является сделать модели машинного обучения более прозрачными для клиентов, пациентов или заявителей на кредит, способствуя установлению доверия и социального признания этих систем. Теперь различным моделям требуются разные методы объяснения, в зависимости от аудитории. В этой статье обсуждаются важность и применение понятного искусственного интеллекта (XAI), а также различные подходы к расшифровке “черных ящиков”

Цели обучения:

Узнать важность и применение понятного искусственного интеллекта (XAI) в повышении прозрачности и доверия в машинном обучении.
Различить глобальные и локальные подходы к XAI и понять их использование.
Исследовать ключевые техники XAI, такие как LIME, SHapley Additive Explanations и контрфактные объяснения для прозрачности и совместимости модели.

Что такое понятный искусственный интеллект (XAI)?

Использование машинного обучения в принятии решений стало неотъемлемой частью каждой отрасли, компании и организации. Эти решения влияют на широкий круг заинтересованных лиц, включая владельцев бизнеса, менеджеров, конечных пользователей, экспертов в отрасли, регулирующие органы и специалистов по обработке данных. Поэтому очень важно понимать, как эти модели принимают решения.

Регулирующие органы все более заинтересованы в машинном обучении, особенно в секторах с жестким регулированием, где решения имеют серьезные последствия. Прозрачность крайне важна в таких отраслях, как финансы, здравоохранение, преступность и страхование, где важно знать, каким образом и почему было принято то или иное решение.

Цель понятного искусственного интеллекта – сделать модели машинного обучения более прозрачными для всех заинтересованных сторон. Он также помогает специалистам по обработке данных лучше понять свою работу. Однако XAI не всегда необходим и мы должны использовать его с умом. В некоторых сценариях слишком сложные объяснения могут вызвать недоверие или путаницу.

Виды объяснения

Понятный искусственный интеллект имеет разные подходы, каждый из которых предназначен для различных ситуаций и заинтересованных сторон. Нам нужны разные методы, чтобы объяснять модели искусственного интеллекта для владельцев бизнеса, менеджеров, пользователей, экспертов в отрасли, регулирующих органов и специалистов по обработке данных. В зависимости от потребностей заинтересованных сторон, мы можем нуждаться в разных методах объяснения. Рост регулирующих органов в области искусственного интеллекта, предлагающих требования и положения, сделал прозрачность еще более важной в строго регулируемых отраслях, таких как финансы, здравоохранение и уголовное правосудие. Модели машинного обучения в этих областях должны обеспечивать прозрачность для клиентов, пациентов или заявителей на кредит.

Понятный искусственный интеллект объединяет разные методы и техники, классифицированные в несколько типов:

Адаптированные/Внутренние методы: Эти методы ограничивают сложность модели перед обучением. Они включают выбор специфических алгоритмов и ограничение количества функций.
Методы послеобучения: Эти методы применяются после обучения модели. Они более универсальны в объяснении “черных ящиков”.
Модельно-специфичные vs. Модельно-агностические: Некоторые методы специфичны для определенных типов “черных ящиков”, в то время как другие могут применяться универсально.
Локальные vs. Глобальные методы: Локальные методы предоставляют объяснения для отдельных примеров или точек данных, в то время как глобальные методы предлагают представление об общем поведении модели по всему набору данных.

Важность понятного искусственного интеллекта

Понятный искусственный интеллект является важным для создания доверия и принятия моделей машинного обучения. Он помогает конечным пользователям понять, почему было принято определенное решение. Он также способствует прозрачности, обнаружению предвзятости, повышению устойчивости и надежности, помогает специалистам по обработке данных лучше понять свои модели и помогает довериться системам машинного обучения.

Однако объяснимость не всегда необходима и иногда может вызвать недоверие, особенно когда раскрываются сложные и непрозрачные процессы. Важно выбирать правильный уровень объяснимости в данном контексте.

Проблемы и соображения в области объяснимости

Понятный искусственный интеллект имеет свои трудности. Одной из основных проблем является необходимость балансировки между точностью и прозрачностью. Иногда достижение высокой точности при полной прозрачности невозможно. Кроме того, выбор правильного метода объяснения для конкретной модели может быть сложной задачей. Важно избегать раскрытия конфиденциальной информации или создания объяснений, которые могут быть использованы во вред.

Разработка модели в понятном искусственном интеллекте

Стремление к объяснимости часто требует достижения баланса между точностью модели и ее прозрачностью. В то время как модели, такие как решающие деревья, по своей природе объяснимы, они могут потерять в точности. С другой стороны, высокоточные модели, такие как глубокие нейронные сети, часто лишены прозрачности. Понятный искусственный интеллект целью имеет обеспечить достаточно высокую точность при предоставлении интерпретируемости. Он заполняет пробел между точностью и прозрачностью в модели машинного обучения.

Различные подходы к объяснимости

Объясняющее искусственное интеллекта может быть представлено в разных формах. Выбранный подход влияет на тип выводов и объяснение их содержания. Поэтому выбор подхода зависит от масштаба проекта и пользовательского случая. Теперь мы рассмотрим некоторые из этих подходов, такие как глобальное, локальное, контрфактуальное объяснение, визуализация и другие.

Глобальные подходы

Объяснение искусственного интеллекта может быть осуществлено с глобальной перспективы. Глобальные объяснения сосредотачиваются на предоставлении понимания общего поведения модели для всего набора данных. Важным аспектом здесь является понимание общего поведения модели на разных примерах ввода. Деревья решений и линейные модели часто входят в эту категорию, предоставляя общее объяснение о влиянии характеристик на прогнозы.

Локальные подходы

В отличие от глобальных подходов, объяснимость на локальном уровне фокусируется на отдельных примерах или точках данных. Локальные объяснения стремятся предоставить понимание того, почему был сделан конкретный прогноз для данного ввода. Они предлагают более подробное, специфичное для случая рассмотрения обоснование модельных решений. Техники, такие как LIME (Local Interpretable Model-agnostic Explanations), входят в эту категорию, позволяя нам понять, почему модель сделала конкретный прогноз для определенного ввода.

Контрфактуальные объяснения

Теперь давайте исследуем мир контрфактуальных объяснений. Контрфактуальные объяснения направлены на понимание того, как изменения и корректировки в характеристиках ввода могут привести к различным выходным значениям модели. Это похоже на вопрос: “Что было бы, если бы у этих характеристик были другие значения?”

Представьте ситуацию, когда чья-то заявка на кредит была отклонена и они хотят узнать, как изменить свои обстоятельства, чтобы получить одобрение. Контрфактуальные объяснения предоставляют действенные идеи и показывают, как изменение определенных характеристик может привести к желаемому результату. Такой подход является весьма ценным в процессах принятия решений и может помочь людям понять, как достичь своих целей.

Однако вызовом в контрфактуальных объяснениях является то, что для одного примера может быть несколько допустимых контрфактуальных примеров. Выбор наиболее подходящего из них может быть сложным. В целом, контрфактуальные объяснения предлагают уникальное понимание интерпретации, помогая нам понять, как изменения в характеристиках ввода могут повлиять на прогнозы модели.

Подходы к визуализации

Визуализация является эффективным способом предоставления объяснений в объяснимом искусственном интеллекте. Два распространенных метода визуализации – это графики частичной зависимости (Partial Dependence Plots, PDP) и графики индивидуальных условных ожиданий (Individual Conditional Expectation, ICE).

Графики частичной зависимости

Графики частичной зависимости представляют визуальное представление того, как одна или две характеристики влияют на прогнозы модели. Они показывают средний предельный эффект характеристики на целевую переменную. Графики частичной зависимости легко понять, что делает их идеальными для объяснения моделей машинного обучения различным заинтересованным сторонам.

Графики индивидуальных условных ожиданий

Графики индивидуальных условных ожиданий предлагают более детальное представление того, как вариации характеристик влияют на индивидуальные примеры. Они обнаруживают гетерогенные эффекты, которые часто упускаются при графиках частичной зависимости. Графики индивидуальных условных ожиданий показывают распределение прогнозов модели для каждого примера, предлагая нюансное понимание поведения модели.

Глобальные побочные модели

Глобальные побочные модели предлагают альтернативный подход к пониманию сложных “черных ящиковых” моделей. Эти модели создаются на основе прогнозов, сделанных “черными ящиками”. Они предлагают более интерпретируемое и понятное представление поведения модели. Деревья решений часто используются в качестве побочных моделей для объяснения прогнозов “черных ящиковых” моделей.

Анализ важности признаков

Анализ важности признаков является важной частью объяснимого искусственного интеллекта, предоставляя понимание того, какие признаки оказывают наибольшее влияние на прогнозы модели. Одним из способов оценки важности каждого признака является перестановочный анализ важности признаков. Он измеряет увеличение ошибки прогноза модели при случайной перестановке конкретного признака. Это позволяет нам понять роль каждого признака в процессе принятия решений модели.

Контрастивное объяснение и соответствующие отрицательные факты

Наконец, у нас есть контрастивное объяснение, которое предлагает уникальный подход к интерпретации модели. Он сосредоточен на объяснении решений, подчеркивая отсутствие определенных характеристик. Соответствующие отрицательные факты, подмножество контрастивных объяснений, помогают нам понять важность отсутствующих характеристик в классификации.

Представьте себе такую ситуацию: если у человека есть симптомы кашля, насморка и лихорадки, но нет мокроты и озноба, это может быть пневмония или грипп. Но когда нет мокроты и озноба, это практически наверняка грипп. Соответствующие отрицательные факты помогают нам делать более точные диагнозы, учитывая важность отсутствующих характеристик.

Эти объяснения особенно ценны, когда вы хотите понять влияние отсутствия определенных функций на предсказания модели. Они предоставляют другую перспективу интерпретации и могут помочь выявить скрытые факторы, влияющие на принятие решений.

Продвинутые методы объяснения искусственного интеллекта

Сейчас, вероятно, у вас уже есть хороше понимание различных способов подхода к объяснительному ИИ. Однако, помимо вышеупомянутых, есть несколько более продвинутых методов, специфических для определенных задач. Давайте рассмотрим некоторые из них.

LIME: Разъяснение локальных объяснений

Local Interpretable Model-Agnostic Explanations (LIME) – это локальный подход, который предоставляет модельно-независимые объяснения для отдельных предсказаний. То, что выделяет его, это его способность работать с широким спектром типов данных, включая табличные, текстовые и изображения, и он может обрабатывать как классификационные, так и регрессионные задачи.

Итак, как работает LIME? Представьте, у вас есть сложная “черный ящик” модель, и вы хотите понять, почему она сделала конкретное предсказание для конкретного случая. LIME берет интересующий вас случай, искажает данные вокруг него, генерируя новые точки данных, и наблюдает предсказания, делаемые вашей моделью для этих новых примеров. Этот процесс помогает LIME приблизительно определить, как модель ведет себя локально вокруг интересующего вас случая.

Затем, LIME создает интерпретируемую модель, используя новые данные. Но вот интересная деталь: интерпретируемая модель придает больший вес точкам данных, близким к интересующему вас примеру. Это означает, что сгенерированные близкие данные считаются более важными при построении интерпретируемой модели.

Результатом является локальное объяснение предсказания вашей “черного ящика” модели. Это объяснение не только дружественное для человека, но и модельно-независимое, что означает, что его можно применять к любой модели машинного обучения. Однако, LIME имеет свои сложности. Определение окрестности вокруг примера не всегда ясно, иручный выбор функций может быть сложным. Процесс выборки также может быть улучшен для более эффективной работы LIME.

SHапли аддитивные объяснения: Сила сотрудничества

Теперь давайте погрузимся в SHapley Additive Explanations. Этот подход основан на теории кооперативных игр. Он связан с расчетом индивидуального вклада или полезности функций в команде, также, как и теория игр определяет важность каждого игрока в кооперативной игре.

Представим себе команду из четырех людей, которые выиграли приз в шахматной игре. Они хотят справедливо распределить приз между собой, основываясь на их вкладе. Для расчета они рассматривают различные комбинации игроков и оценивают полезность для каждого игрока в каждой комбинации. Это помогает определить, сколько каждый игрок внес в общий успех.

SHapley Additive Explanations применяет тот же принцип к моделям машинного обучения. Вместо игроков у нас есть функции, и вместо приза у нас есть предсказания. Этот подход рассчитывает маржинальную ценность каждой функции для конкретного примера и сравнивает ее со средним предсказанием по всему набору данных.

Преимущество SHapley состоит в том, что он предоставляет подход, основанный на примерах, и работает как для классификационных, так и для регрессионных задач. Независимо от того, работаете ли вы с табличными, текстовыми или изображенческими данными, SHapley Additive Explanations поможет вам понять важность разных функций. Однако одним из недостатков является то, что он может требовать больших вычислительных мощностей из-за огромного количества рассматриваемых комбинаций. Чтобы смягчить эту проблему, можно использовать выборку на подмножестве данных для ускорения процесса.

Пошаговая важность слоев: Отделяя слои

Пошаговая важность слоев, или LRP, – это техника, в основном используемая для изображений. Она помогает нам понять, какие пиксели в изображении оказывают наибольшее влияние на классификационное решение модели. LRP работает путем вычисления важности каждого слоя и нейрона в нейронной сети. Этот процесс позволяет выявить наиболее значимые пиксели и помогает нам визуализировать то, что модель видит в изображении.

Давайте рассмотрим нейронную сеть, классифицирующую изображения. LRP начинает с вывода модели и движется в обратном направлении. Он оценивает важность каждого нейрона и слоя в сети, проверяя вклад каждого нейрона в конечную классификацию. Результатом является картография тепла, которая подсвечивает пиксели, оказавшие наибольшее влияние на решение модели.

Одной из проблем с LRP-generated картографией тепла является их шумность и схожесть, что затрудняет точную идентификацию влиятельных пикселей. Однако LRP является ценным инструментом для понимания того, как нейронные сети принимают решения о классификации изображений.

Заключение

Разъяснимый искусственный интеллект (XAI) является важной составляющей в области искусственного интеллекта и машинного обучения. Он объясняет сложные внутренние механизмы моделей искусственного интеллекта, обеспечивая прозрачность и доверие. Мы исследовали различные аспекты XAI, от его важности до конкретных техник, таких как LIME, SHapley Additive Explanations, контрфактуальные объяснения, LRP и контрастные объяснения. Эти методы помогают пользователям понять, задать вопросы и настраивать модели машинного обучения для различных контекстов.

Основные моменты:

Разъяснимый искусственный интеллект предлагает разнообразные методы, такие как глобальные и локальные подходы, контрфактуальные объяснения и анализ важности признаков, учитывающие потребности различных заинтересованных сторон и отраслей.
XAI повышает доверие к системам машинного обучения благодаря прозрачности, обнаружению предвзятости и улучшению надежности. Важно найти правильный баланс между прозрачностью и сложностью.
Техники, такие как LIME, SHapley Additive Explanations, LRP и контрастные объяснения, предоставляют понимание поведения модели и способствуют ее интерпретируемости, улучшая понимание систем искусственного интеллекта.

Часто задаваемые вопросы

Об авторе: Д-р Фарха Анджум Хан

Доктор Фарха Анджум Хан – опытный специалист по обработке данных и ведущий технический архитектор в компании Continental. Доктор Хан имеет богатый шестилетний опыт работы в области обработки данных. Ее путь начался с академических исследований в области экспериментальной ядерной и частицовой физики, где она приобрела ценный опыт на престижных институтах в Германии. Ее страсть к данным, алгоритмам и искусственному интеллекту привела ее к сокращению разрыва между технологией и ответственным ИИ, сделав ее экспертом в области XAI.

Страница DataHour: https://community.analyticsvidhya.com/c/datahour/explainable-ai-demystifying-the-black-box-models

LinkedIn: https://www.linkedin.com/in/dr-farha-anjum-khan-617b0813/

AI,AI models,Black box models,DataHour Article,Explainable AI,explainable AI approaches