Маршрут изучения: Практика A/B-тестирования на графиках

Как проходить практикум

Быстрый (30–40 минут)

Цель: быстро поймать 4 ключевых ловушки.

Базовый (≈2 часа)

Цель: пройти все сценарии 001–007 последовательно.

001 «CPM вырос, а выручка упала» — учит: цена × объём = выручка, floor может отрезать инвентарь
002 «Выручка выросла без роста CPM» — учит: эффект через объём (show rate, fill, coverage)
003 «Статзначимо, но бизнес-эффекта нет» — учит: статистическая ≠ практическая значимость
004 «Ничего не произошло — и это результат» — учит: как закрывать тесты без эффекта, проверка power/MDE
005 «Сегменты спорят (Simpson)» — учит: агрегат может маскировать эффекты, нужен reweight
006 «Окно меняет вывод» — учит: лаги и выбор окна, stop rules
007 «Локальная победа, системный проигрыш» — учит: каннибализация, total-first подход

Для лидов (60–90 минут)

Цель: тренировать принятие решений и рамку контроля.