← На главную
Чек-лист: проектирование эксперимента
Быстрая проверка: готов ли эксперимент к запуску и интерпретации результатов.
Используйте этот чек-лист перед запуском эксперимента и при интерпретации результатов. Если хотя бы один пункт не выполнен — эксперимент может привести к неверным решениям.
Гипотеза и механизм
- Сформулирована ли гипотеза как механизм, а не как "выросло / не выросло"?
- Понятно ли, какой механизм эффекта ожидается (цена / объём / микс / воронка / давление)?
- Согласованы ли Primary / Diagnostic / Guardrails метрики?
- Как разложить деньги на рычаги для диагностики?
Структура и контроль
- Есть ли риск смещения состава между контроль и тест?
- Контролируется ли состав сегментов (reweight при необходимости)?
- Не маскирует ли агрегат эффекты (Simpson paradox)?
- Учтены ли системные эффекты (каннибализация, перетоки)?
Время и окно оценки
- Учтены ли лаги эффекта при выборе окна оценки?
- Как выбор окна влияет на вывод?
- Определены ли stop rules для принятия решения?
- Устойчив ли эффект по времени?
Системные эффекты
- Есть ли риск каннибализации между форматами/сегментами?
- Локальная победа или системный проигрыш?
- Что происходит с Total, а не только с локальными метриками?
- Учтены ли давление, насыщение и перетоки?
Решение и мониторинг
- Статистическая значимость ≠ практическая значимость?
- Есть ли бизнес-эффект, даже если stat sig?
- Можно ли принять решение на основе результатов?
- Что мониторим после выката?