О чём курс
Большинство курсов по A/B-тестированию учат формулам: p-value, z-test, power analysis. Этот курс — про другое. Про то, как принимать решения в условиях неопределённости: какую метрику выбрать, какой тест использовать, когда CUPED поможет, а когда навредит, и почему статистическая значимость — не гарантия правильного решения.
Prerequisite: Курс №4 — Аналитика продукта.
Быстрый доступ к симуляторам
Структура курса
Модуль 1. Каузальность
Понять, что делает A/B-тест каузальным, а не просто сравнением средних
Модуль 2. Типы метрик
Научиться классифицировать метрики перед выбором статкритерия
Модуль 3. Распределения
Понять реальные распределения продуктовых данных и их влияние на выбор теста
Модуль 4. Карта выбора статкритерия
Построить decision tree выбора теста: от типа метрики до конкретного метода
Модуль 5. Ускорение тестов
Освоить методы снижения дисперсии: CUPED, стратификация, winsorization
Модуль 6. Кластерные эксперименты
Понять дизайн и анализ экспериментов, когда рандомизация на уровне пользователя невозможна
Модуль 7. Типовые ошибки аналитиков
Распознавать и исправлять типовые ошибки в дизайне и анализе экспериментов
Модуль 8. A/B без A/B
Освоить квази-экспериментальные методы для ситуаций без рандомизации