Как читать эксперименты в реальных продуктах и не принимать неправильные решения — через графики, механизмы и чеклисты.
Этот курс — не про формулы. Это про решения: когда метрики конфликтуют, эффекты приходят с лагом, сегменты дают разные выводы, а локальная оптимизация вредит системе.
Вопрос модуля: Что именно дало результат?
Практика:
Практика по этому типу решения: → Открыть все сценарии этого типа
Вопрос модуля: Можно ли это масштабировать?
Практика:
Практика по этому типу решения: → Открыть все сценарии этого типа
Вопрос модуля: Можно ли верить результату?
Практика:
Практика по этому типу решения: → Открыть все сценарии этого типа
Вопрос модуля: Что делать с результатом эксперимента?
Практика:
Практика по этому типу решения: → Открыть все сценарии этого типа
Проверка перед принятием решения по эксперименту.
Открыть чеклистЕсть ли реальное изменение или это флуктуации? Смотри на форму кривой, а не только на среднюю дельту. Если эффект нестабилен и CI широкие — это шум, нужны данные.
Тип решения 1: Можно ли верить эффекту?
Step change, ramp или bounce? Это определяет устойчивость. Если эффект новизны (bounce) — не катим. Если нарастает (ramp) — ждём стабилизации. Если стабилен (step) — можно решать. → Формы эффекта
Тип решения 1: Можно ли верить эффекту?
Окно оценки меняет вывод? Эффект приходит с задержкой? Не останавливай на первом плюсе. Фиксируй минимальную длительность заранее. Продлевай, если нестабильно.
Тип решения 1: Можно ли верить эффекту?
Total-first. Проверь сегменты: не маскирует ли агрегат разнонаправленные эффекты? Веса сегментов изменились? Если да — пересчитай мыслью "как было бы при старых весах".
Тип решения 3: Можно ли масштабировать?
Локальная победа или системный проигрыш? Формат выиграл, но total упал? Это каннибализация. Решение по total revenue/RPM, не по локальным метрикам.
Тип решения 3: Можно ли масштабировать?
Какой механизм: цена / объём / микс / воронка? Согласованы ли Primary / Diagnostic / Guardrails? Если механизм понятен, эффект устойчив, guardrails в порядке — катим. Если нет — перезапуск или не катим.
Тип решения 2: Что именно дало эффект?