Улучшенная версия анализа влияния характеристик продукта на удержание

Расширенный анализ воздействия характеристик продукта на его удержание

Простой и эффективный подход к сегментации характеристик вашего продукта на ядро, силу и повседневность.

В предыдущем посте я показал вам простой способ измерения удержания характеристик продукта.

После проведения анализа мы получили таблицу с удержанием для каждой характеристики, отсортированную по убыванию [Средний процент возвращенных пользователей]:

• С одной стороны, мы получили полезную информацию о том, какие характеристики продукта оказывают наибольшее влияние на его удержание.
• С другой стороны, у нас нет данных о том, сколько пользователей использовали эти характеристики, поэтому мы не можем быть уверены в достоверности этих цифр.

Добавим [# пользователей] и рассмотрим эту таблицу еще раз.

Теперь мы легко можем заметить проблему: например, первые две характеристики продукта (характеристика27, характеристика34) с наивысшим [% возвращенных пользователей] имеют довольно скромный объем в терминах [# пользователей].

• «Погружение в Amazon EC2 оптимизация нагрузок с использованием аппаратных возможностей»
• Исследователи из MIT разработали метод машинного обучения, который позволяет моделям глубокого обучения эффективно адаптироваться к новым данным сенсоров непосредственно на устройстве.
• Постройте языковую модель на основе своих чатов WhatsApp

На самом деле, эта проблема наиболее распространена во многих анализах, которые я видел. Часто аналитик приводит довольно интересную меру качества, но ее не подкрепляет количественная мера. В результате некоторые из наших решений могут быть как минимум неоптимальными, а в худшем случае просто неверными.

Как мы можем решить эту проблему?

Давайте объединим обе метрики (качественные и количественные) в одну диаграмму. Самым подходящим способом для этого будет диаграмма рассеяния:

• на оси X разместим метрику [% пользователей], это наша количественная метрика, которая измеряет популярность характеристики продукта.
• на оси Y разместим метрику [% возвращенных пользователей], это наша качественная метрика, которая измеряет ценность характеристики продукта.

Результирующая диаграмма может выглядеть так:

Пока кажется, что из этой диаграммы сложно делать какие-либо осмысленные выводы.

Что мы можем сделать, чтобы улучшить ясность диаграммы?

Давайте применим правило 50/80 перцентиля из предыдущего поста.

На самом деле, после применения 2 пороговых значений для [% пользователей] и [% возвращенных пользователей], мы получим 9 кластеров.

Диаграмма разбитых на кластеры характеристик продукта может выглядеть так:

Добавив перцентильные пороги на диаграмму, мы теперь можем выделить следующие кластеры характеристик продукта:

• Ядро: [% пользователей] > 80 перцентиль, [% возвращенных пользователей] > 80 перцентиль
• Сила1: [% пользователей] > 80 перцентиль, [% возвращенных пользователей] в диапазоне [50, 80] перцентилей
• Сила2: [% пользователей] в диапазоне [50, 80] перцентилей, [% возвращенных пользователей] > 80 перцентиль
• Повседневность1: [% пользователей] в диапазоне [50, 80] перцентилей, [% возвращенных пользователей] в диапазоне [50, 80] перцентилей
• Повседневность2: [% пользователей] в диапазоне [50, 80] перцентилей, [% возвращенных пользователей] < 50 перцентиль
• Повседневность3: [% пользователей] < 50 перцентиль, [% возвращенных пользователей] в диапазоне [50, 80] перцентилей
• Настройка: [% пользователей] > 80 перцентиль, [% возвращенных пользователей] < 50 перцентиль
• Узкое направление: [% пользователей] < 50 перцентиль, [% возвращенных пользователей] > 80 перцентиль
• Другие: [% пользователей] < 50 перцентиль, [% возвращенных пользователей] < 50 перцентиль

Давайте немного обсудим каждый из кластеров.

Ядро функциональности – это настоящее ядро вашего продукта. Эти возможности используются множеством пользователей, и, что еще важнее, пользователи возвращаются, чтобы продолжать использовать эти функции. Как правило, таких функций может быть очень немного (2–3 функции).

Мощные функции – это основная рабочая лошадка вашего продукта. Эти функции в сочетании с ядром предоставляют около 80% базовой ценности продукта. Некоторые из мощных функций (Мощные1) популярны так же, как ядро, но приносят меньше ценности пользователям. Другие мощные функции (Мощные2) приносят такую же ценность, как и ядро, но пользуются меньшей популярностью. Как правило, в каждом кластере мощных функций может быть от 3 до 5 функций.

Повседневные функции – это функции, которые используются время от времени. Они также приносят некоторую ценность пользователям, но в основном они являются вспомогательными функциями.

Настройка функций – это особый поднабор функций, предназначенных для настройки продукта для последующего удобного использования. Многие пользователи используют их, но, как правило, это происходит один раз в начальной фазе.

Специализированные функции – это очень особый поднабор функций, которые могут принести огромное количество ценности, но эта ценность ощущается ограниченным числом пользователей.

Теперь мы готовы сравнить результаты этого сбалансированного подхода с результатами из предыдущего поста:

Как видно из списка, на верхушке находятся некоторые Специализированные функции.

Конечно, мы можем попробовать повысить их популярность и переместить их из кластера Специализированные в кластер Мощные2 или даже Ядро. Для некоторых это возможно, для других — нет. Но главное здесь – не просто предполагать, что любая функция с высоким уровнем удержания является ядром.

Также обратите внимание, что некоторые функции могут перемещаться из кластера в кластер со временем. Это может быть обусловлено разными причинами: усилиями по привлечению новых пользователей, изменениями в пользовательском интерфейсе, зрелостью пользовательской базы и т. д.

Наконец, давайте сгруппируем функции в кластеры и рассчитаем центроиды кластеров:

Здесь есть несколько важных выводов:

• Ядро + Мощные кластеры составляют всего около 20% от общего количества функций продукта.
• Другие кластеры занимают 27% от всех функций и в то же время обслуживают только 8,7% пользователей.
• Специализированные функции используют только 11,3% пользователей и при этом обладают самым высоким уровнем удержания (даже выше, чем у Ядра).

В следующем посте я расскажу об другой перспективе определения удержания функциональности.

П.С. Есть лучший способ кластеризации функций продукта на основе коэффициента MCC.