Объяснимость моделей, пересмотренная SHAP и дальше

Объяснимость моделей, пересмотренная SHAP и дальше' can be condensed to 'Объяснимость моделей, SHAP и дальше'.

Быстрый рост больших языковых моделей за последние несколько месяцев привлек много внимания в области искусственного интеллекта – что понятно, учитывая новизну и скорость интеграции этих моделей в повседневные рабочие процессы профессионалов в области науки о данных и машинного обучения.

Однако все еще остаются важными проблемы, связанные с производительностью моделей и рисками, которые они представляют, и объяснимость является основополагающей в этих вопросах: как и почему модели создают предсказания, которые они предлагают нам? Что находится внутри черного ящика?

На этой неделе мы возвращаемся к теме объяснимости моделей с помощью нескольких недавних статей, которые подходят к этим тонкостям с нюансами и предлагают практические подходы для практиков для экспериментов. Приятного обучения!

  • Основой любой задачи объяснимости является вопрос о том, какие функции ваших данных вносят наибольший вклад в предсказание модели. Введение Хулуда Эль Алами в анализ важности функций с помощью SHAP – это ресурс для начинающих на основе исследовательского проекта автора в Spotify.
  • Если вы уже работали с SHAP в прошлом и хотите расширить свой инструментарий, Конор О’Салливан предлагает практическое руководство по работе с более специализированными случаями использования, а именно, как отображать графики SHAP для задач классификации и агрегировать значения SHAP для мультиклассовых целей.
  • Для нового взгляда на возможности, которые открывает объяснимость моделей, не пропустите недавнюю статью Дикши Сен Чаудхури о проекте, который объединяет данные здравоохранения и машинное обучение. Цель Дикши заключалась в показе того, как использование SHAP может сделать модель не только интерпретируемой, но и полезной для исследователей, которые хотели бы сравнивать результаты с результатами в медицинской литературе.
Фото Алины Ковальчук на Unsplash
  • Как правильно отмечает Вегард Фловик, “для приложений в области промышленности с тяжелыми активами, где ошибки могут привести к катастрофическим последствиям, отсутствие прозрачности может быть серьезным препятствием для принятия”. Чтобы заполнить этот разрыв, Вегард предлагает подробное руководство по открытой среде Iguanas и показывает, как вы можете использовать его автоматизированные возможности генерации правил для повышения объяснимости.
  • Хотя значения SHAP доказали свою пользу во многих реальных сценариях, они также имеют свои ограничения. Самуэле Мадззанти предостерегает от слишком большого внимания (с долей юмора!) к важности функций и рекомендует уделять равное внимание вкладу ошибки, поскольку “факт, что функция является важной, не означает, что она полезна для модели”.

Мы знаем, что начало сентября является напряженным временем для многих из вас, но если у вас есть немного больше времени, вы не ошибетесь, прочитав любую из наших рекомендованных статей на этой неделе:

  • Если вы сейчас находитесь в курсе обучения науке о данных или планируете посещение такого в будущем, обязательно прочитайте исчерпывающее руководство Александры Оберемок о том, как максимально использовать этот опыт.
  • Бегуны, эта статья для вас: новое погружение от barrysmyth исследует данные марафона, чтобы оценить разные стратегии оптимизации вашей производительности.
  • В своей дебютной статье для TDS Кристиан Берк показывает, каким образом он принимал участие в инновационном проекте искусственного интеллекта MOMA, о котором он рассказывает за кулисами.
  • Ольга Черницкая поделилась новой частью своей отличной серии “Building Better ML Systems”, на этот раз с фокусом на базовых значениях, метриках и тестовых наборах данных.
  • Не знаете, как работать с отсутствующими данными? Мириам Сантос предлагает всеобъемлющий ресурс по этой постоянной проблеме и объясняет, как идентифицировать и пометить отсутствующие значения в реальных наборах данных.
  • Если вы хотите подробно разобраться с техническим объяснением, обзор алгоритма градиентного спуска от Антониеты Мастроджузеппе ясен и хорошо выполнен.

Спасибо за поддержку работы наших авторов! Если вам нравятся статьи, которые вы читаете на TDS, рассмотрите возможность стать участником VoAGI – это открывает доступ ко всему нашему архиву (и ко всем остальным публикациям на VoAGI тоже).