Экспериментальное проектирование от начала до конца с использованием тестирования A/B

А/В-тестирование в экспериментальном проектировании от начала до конца

Руководство, основанное на данных, по принятию решений и дизайну продукта

Введение

Если вы когда-либо задавались вопросом о конструктивном дизайне и A/B-тестировании, то вы попали в нужную статью. Эта статья – это дорожная карта, которая поможет вам создать свой первый эксперимент, начиная с определения проблемы и заканчивая важным решением о запуске.

Представьте, что вы находитесь на оживленном перекрестке и перед вами два разных поворота. Один – это тот, которым вы обычно идете (тропа A), в то время как другой – новый, неизведанный путь (тропа B). Ваш друг говорит вам, что тропа B – лучший путь, чтобы добраться на работу. Какое решение вы примите? Именно эту проблему пытаются решить ученые-исследователи данных с помощью A/B-тестов. Однако вместо троп мы должны выбирать между двумя версиями продукта, а вместо друга – менеджеры продукта.

В этой статье я расскажу о 8 основных шагах, необходимых для разработки и проведения успешного A/B-теста:

• Общие практики и проблемы наследования в Python Проблема ромба, миксины и другие.
• Понимание возврата к началу с использованием Python Руководство для начинающих
• Топ 50+ геопространственных библиотек на Python.

• Определение проблемы

Здесь вы встречаетесь с заинтересованными сторонами, например, менеджерами продукта, чтобы определить объект эксперимента. Представьте, что менеджер продукта в OrderNow (нашей вымышленной компании по вызову автомобилей) заметил на дашборде поль
зователя, что около 40% наших пользователей открывают приложение, добавляют пункт назначения, но никогда не заказывают поездку. Теперь менеджер продукта считает, что если мы изменим цвет кнопки «Забронировать сейчас» с красного на зеленый, мы сможем увеличить количество пользователей, заканчивающих заказ.

• Определение метрик

После определения проблемы нам нужно определить метрики, которые мы собираемся отслеживать в ходе эксперимента. Хорошим шагом для определения ключевой метрики является понимание бизнес-цели. В нашем случае, бизнес-цель состоит в том, чтобы увидеть увеличение количества пользователей, завершающих процесс бронирования поездки. При выборе метрики нужно учесть три вещи:

• Действие, которое вы хотите измерить: В нашем случае – бронировка поездок.
• Анализируемая единица: например, ежедневно, еженедельно, ежемесячно и т. д. Для нашего эксперимента мы бы выбрали еженедельно.
• Статистическая функция: такая как подсчет, среднее значение, максимум и т. д. В данном примере мы бы использовали еженедельно. Таким образом, нашей метрикой может быть общее количество поездок в неделю или…