Анализ важности признаков с использованием SHAP, который я изучил в Spotify

Анализ важности признаков с SHAP в Spotify

Выявление основных характеристик и понимание их влияния на предсказательные результаты моделей машинного обучения с помощью SHAP

Эта статья является первой частью документации о моих открытиях в рамках моей диссертации по машинному обучению в Spotify. Обязательно ознакомьтесь также со второй частью статьи (скоро появится!), в которой я расскажу, как мне удалось значительно оптимизировать модель для данного исследования.

Два года назад я провел захватывающий исследовательский проект в Spotify в рамках моей магистерской диссертации. Я изучил несколько полезных методов машинного обучения, которые, по моему мнению, должны быть в арсенале любого специалиста по анализу данных. И сегодня я здесь, чтобы рассказать вам об одном из них.

В то время я потратил 6 месяцев, пытаясь построить модель прогнозирования и разобраться в ее внутреннем устройстве. Моя цель заключалась в понимании того, что делает пользователей довольными своим музыкальным опытом.

Здесь дело было не столько в предсказании, довольны ли пользователи (или нет), сколько в понимании основных факторов, которые способствуют их удовлетворенности (или недовольству).

Звучит интересно, верно? Именно так оно и было! Мне очень понравилось каждое мгновение, потому что я узнал так много о том, как можно применять машинное обучение в контексте музыки и поведения пользователей.

(Если вас интересуют применения машинного обучения в музыкальной индустрии, то я настоятельно рекомендую ознакомиться с этим интересным исследованием, проведенным ведущими экспертами Spotify. Это обязательно к прочтению!)

Машинное обучение и поведенческая психология в технологиях

Изображение автора (Midjourney)

В сфере технологий исследовательские проекты, подобные моему, являются очень распространенными, поскольку большая часть работы связана с предоставлением наилучшего персонализированного опыта для пользователей/клиентов.

Это часто означает изучение человеческой психики, и машинное обучение может быть мощным инструментом для достижения невозможного – понимания людей.

Когда мы соединяем машинное обучение с психологией и поведенческими науками, мы приближаемся к полной картины того, как люди ведут себя.

Как?

Мы создаем модели, которые пытаются предсказать, как люди будут реагировать.