Это решение проблемы P-хакинга?

Решение проблемы P-хакинга что делать?

E-значения – лучшая альтернатива p-значениям

В научных исследованиях манипуляция данными и подглядывание за результатами являются проблемами на протяжении всего существования этой области. Исследователи часто стремятся к значимому p-значению, чтобы опубликовать свои работы, что может привести к искушению прекратить сбор данных раньше или искажать данные. Эта практика, известная как p-хакинг, была основной темой моего предыдущего поста. Если исследователи решают намеренно изменить значения данных или подделать полные наборы данных, мы мало что можем сделать. Однако для некоторых случаев p-хакинга может быть доступное решение!

В этом посте мы погрузимся в тему безопасного тестирования. Безопасные тесты имеют существенные преимущества по сравнению со старым (нынешним) способом проверки гипотез. Например, этот метод тестирования позволяет комбинировать результаты из нескольких исследований. Еще одним преимуществом является возможность остановить эксперимент по желанию в любое время. Чтобы проиллюстрировать безопасное тестирование, мы будем использовать пакет R safestats, разработанный респондентами, которые предложили эту теорию. Вначале мы рассмотрим e-значения и объясним, какую проблему они могут решить. Компании, такие как Netflix и Amazon, уже используют e-значения из-за их преимуществ.

Я не буду углубляться в доказательства теории; вместо этого этот пост придерживается более практического подхода, показывая, как вы можете использовать e-значения в своих собственных тестах. Для пруфов и детального объяснения безопасного тестирования, оригинальная статья является хорошим ресурсом.

Введение в e-значения

В проверке гипотез, с которой вы можете освежить свои знания здесь, вы оцениваете, следует ли сохранить нулевую гипотезу или принять альтернативную. Обычно для этого используется p-значение. Если p-значение меньше заданного уровня значимости alpha, вы принимаете альтернативную гипотезу.

• Совершенствование журнала тренировок в Strava
• Простые модели продвинутого снижения размерности
• Восстановление знаний на первом месте

E-значения работают иначе, но связаны с p-значениями. Самая простая интерпретация e-значений выглядит следующим образом: Предположим, вы делаете ставку против нулевой гипотезы. Вы вкладываете 1$, и возврат составляет E$. Если e-значение E находится в диапазоне от 0 до 1, вы проигрываете, и нулевая гипотеза остается верной. С другой стороны, если e-значение больше 1, вы выигрываете! Нулевая гипотеза терпит поражение. Скромное E, равное 1.1, предполагает ограниченность доказательств против…