Эта статья является второй в моей серии под названием «Поваренная книга по AB-тестированию», в которой я планировал дать подробное пошаговое руководство по AB-тестированию. В первой статье я говорил о необходимости AB-тестирования и о том, почему заинтересованные стороны бизнеса должны быть убеждены в том, что AB-тестирование — единственный научный способ внесения изменений в продукт. Если вы читаете эту статью, я думаю, вы хотите узнать об этом больше, поэтому, не теряя больше..

Качественный эксперимент — это не только достаточное количество наблюдений, но и данные без шума. Однако часто бывает так, что метрика изначально имеет большую дисперсию. И один из таких примеров — деньги. Одним из самых популярных методов уменьшения дисперсии является удаление выбросов. Однако, когда дело доходит до денег, выбросы крайне редки, как правило, это пользователи, совершающие редкие и крупные транзакции. Просто удалять таких пользователей из выборки в пользу уменьшения..

Сегодня мы поговорим о корректности статистических критериев в контексте A/B-тестирования. Мы научимся проверять, является ли критерий правильным или нет. Мы рассмотрим пример, в котором критерий Стьюдента не работает. Правильный статистический критерий В A/B-тестировании при проверке гипотез по статистическим критериям может быть допущена одна из двух ошибок: Ошибка I рода — отклонение нулевой гипотезы, когда она действительно верна. То есть сказать, что есть эффект, когда на самом..

Часть 1. Отмерь дважды, отрежь один раз Этот пост был впервые опубликован в The Craft , техническом блоге Faire. Это первая в нашей серии статей, посвященных ускорению принятия решений с помощью A / B-тестирования. Как и многие стремительно развивающиеся стартапы, Faire использует эксперименты, чтобы быстро усовершенствовать наш продукт и принять более обоснованные решения. Однако, в отличие от многих наших коллег, которые обслуживают потребительские рынки с сотнями миллионов..

Наука о данных A/B-тестирование: от нуля до героя Коллекция лучших ресурсов для онлайн-экспериментов. Недавно я изучал A/B-тестирование для своего последнего раунда собеседования с командой Glassdoor Decision Science. У меня было очень мало знаний об A/B-тестировании заранее, и я посвятил целую неделю жадному чтению статей, видео и интервью…