Квазиэксперименты и причинная идентификация

На платформах с двумя сторонами рынка классический A/B часто ломается. Тест в одной группе влияет на другую через цены, аукционы, рекомендации, ранжирование — и контрольная группа перестаёт быть «как было бы без теста». В таких ситуациях нужны другие методы: квазиэксперименты, использующие естественную вариацию данных, чтобы оценить эффект без чистой рандомизации. Курс — про то, как эти методы выбирать, проверять и защищать результат перед бизнесом.

Где это работает

Платформенные задачи, для которых квазиэксперименты — основной инструмент:

• Двусторонние рынки. Тест в группе водителей меняет поведение пассажиров (и наоборот) — контрольная группа перестаёт быть валидной. Нужен switchback или geo-experiment.
• Аукционы и ранжирование. Изменение в одном объявлении влияет на конкурентов в том же аукционе — рандомизация на уровне пользователя смешивает группы. Нужен подход на уровне аукциона или временного слота.
• Рекомендательные системы. Контент, показанный одному пользователю, попадает в обучение модели для всех — SUTVA нарушается. Нужен holdout-кластер или временное переключение.
• Запуск фичи без A/B (по регуляторике, бизнесу или техническому долгу). Когда деления на группы нет — synthetic control или DiD по регионам.
• Оценка завершившегося эффекта. Когда тест уже отгремел и нужно оценить долгосрочное влияние без возможности повторить — natural experiment + matching.

Программа курса

• Cheat Sheet
  Decision tree выбора метода, 10 вопросов интервьюера, красные флаги
• Модуль 1. Почему causal сложно
  Confounders, selection bias, SUTVA, interference — почему корреляция ≠ причинность
• Модуль 2. Difference-in-Differences (DiD)
  Parallel trends, event study, staggered adoption, кластеризация SE · 3 упражнения · toy example
• Модуль 3. Regression Discontinuity Design (RDD)
  Sharp/fuzzy RDD, manipulation test, bandwidth robustness, локальный эффект · 3 упражнения · toy example
• Модуль 4. Synthetic Control
  Синтетический контрфактуал, placebo tests, donor pool, permutation inference · 2 упражнения · toy example
• Модуль 5. Matching и PSM
  CIA, balance diagnostics, sensitivity analysis, что matching НЕ решает · 3 упражнения · toy example
• Модуль 6. Instrumental Variables (IV)
  3 условия валидности, LATE, слабые инструменты, 2SLS · 2 упражнения · toy example
• Модуль 7. Практика валидности
  Placebo, falsification, sensitivity — арсенал проверок для любого метода
• Модуль 8. Как «продавать» результат
  Narrative, допущения, ограничения — структура защиты квазиэксперимента
• Мини-кейсы
  6 практических кейсов из платформенной экономики: маркетинг, маркетплейс с anticipation effect, geo-выкатка, скоринг финтеха, уход конкурента, рекомендательная система с network effects

Связанные курсы

Квазиэксперименты — это инструменты для ситуаций, которые в обычных курсах по A/B не разбираются.

• Статистика A/B-тестирования — фундамент: метрики, дисперсия, мощность теста, типичные ошибки. Если квазиэксперимент использует доверительные интервалы и тесты на средние — это всё оттуда.
• A/B-решения — что делать с результатом теста. Шестой шаг протокола («когда механизм требует каузального вывода») — прямой выход на этот курс.
• Математика монетизации — где geo-эксперименты и synthetic control применяются в реальной задаче (запуск pricing-фичи, оценка ad-load изменения).
• Аналитика продукта — оптика «читать систему», без которой выбрать правильный метод не получится.