← На главную
Чек-лист: чтение экспериментов
Быстрая проверка: формирует ли график эксперимента правильное решение, или блокирует его.
Используйте этот чек-лист перед тем, как принять решение по эксперименту. Если хотя бы один пункт не выполнен — график блокирует решение, даже если все расчёты корректны.
Механизм эффекта
- Какой механизм эффекта: цена / объём / микс / воронка / давление?
- Видно ли механизм на графике без дополнительных вычислений?
- Согласованы ли Primary / Diagnostic / Guardrails метрики?
- Что происходит с объёмом (shows/coverage) и воронкой (fill/show)?
Контроль и состав
- Есть ли риск смещения состава между контроль и тест?
- Видно ли эффект в каждом сегменте за 10 секунд?
- Нужен ли reweight для корректного сравнения?
- Не маскирует ли агрегат эффекты (Simpson paradox)?
Время и устойчивость
- Устойчив ли эффект по времени?
- Есть ли лаги, которые меняют вывод?
- Как выбор окна оценки влияет на вывод?
- Нужны ли stop rules для принятия решения?
Системные эффекты
- Есть ли каннибализация между форматами/сегментами?
- Локальная победа или системный проигрыш?
- Что происходит с Total, а не только с локальными метриками?
- Что мониторим после выката?
Статистика и решение
- Статистическая значимость ≠ практическая значимость?
- Есть ли бизнес-эффект, даже если stat sig?
- Можно ли принять решение на основе графика за 10 секунд?
- Понятно ли, какое действие требуется (запускать, откатывать, итерация)?