Мини-кейсы

TL;DR

6 практических ситуаций: для каждой — контекст, выбор метода, что проверять и типичная ошибка.

Кейс 1 · DiD

Маркетинговая кампания: до/после + контроль

Контекст: Запуск оффлайн-рекламы в 5 городах из 20. Нужно оценить прирост продаж.

Unit: город. Treatment: запуск рекламы. Outcome: revenue/день.

Метод: DiD. 5 treated городов vs 15 контрольных, 8 недель до и 8 после.

Типичная ошибка: не учитывать сезонность (launch совпал с праздниками в treated городах).

Кейс 2 · DiD + anticipation

Изменение комиссии на маркетплейсе

Контекст: Маркетплейс повышает комиссию для категории "Электроника" с 10% до 15%. Остальные категории — контроль.

Unit: продавец-категория. Treatment: повышение комиссии. Outcome: GMV, число активных продавцов.

Метод: DiD. Но с нюансом: объявление было за 2 недели до вступления в силу.

Типичная ошибка: использовать дату вступления в силу как treatment date и получить "эффект до treatment".

Кейс 3 · Geo DiD

Выкладка фичи по регионам

Контекст: Новый UI раскатывается по 3 регионам из 12. A/B невозможен: фича влияет на все показы в регионе.

Unit: регион-день. Treatment: новый UI. Outcome: CTR, sessions/user.

Метод: Geo DiD. 3 treated региона vs 9 контрольных.

Типичная ошибка: мало кластеров (3 treated) → SE занижены, ложная значимость. Решение: randomization inference.

Кейс 4 · RDD

Изменение скоринга в финтехе

Контекст: Банк одобряет кредит при score ≥ 650. Нужно оценить эффект кредита на потребление.

Unit: заявитель. Treatment: получение кредита. Outcome: потребительские расходы через 6 месяцев.

Метод: Fuzzy RDD. Порог 650 резко увеличивает вероятность одобрения, но не до 100%.

Типичная ошибка: если кредитный менеджер может "подтянуть" score до 650 для знакомых — manipulation invalidates RDD.

Кейс 5 · Synthetic Control

Закрытие магазина конкурента в регионе

Контекст: Конкурент закрыл сеть в одном регионе. Нужно оценить эффект на продажи ритейлера.

Unit: регион. Treatment: уход конкурента. Outcome: monthly revenue.

Метод: Synthetic Control. 1 treated регион, 25 donor-регионов, 24 месяца pre-period.

Типичная ошибка: плохой pre-fit (treated регион нетипичен), но автор всё равно интерпретирует разрыв как каузальный.

Кейс 6 · Spillover / Interference

Рекомендации и сетевые эффекты

Контекст: Платформа тестирует новый рекомендательный алгоритм. Но рекомендации одного пользователя зависят от поведения других (collaborative filtering).

Unit: пользователь. Treatment: новый алгоритм. Outcome: engagement, time-on-platform.

Проблема: SUTVA нарушена. Treatment-пользователи генерируют сигналы, которые используются для рекомендаций контрольной группы.

Типичная ошибка: user-level рандомизация при сетевых эффектах → diluted treatment effect, невалидные CI.

Связь с глоссарием

Термины, которые уже есть в глоссарии:

Термины для добавления в глоссарий (TODO):

  • rdd — Regression Discontinuity Design
  • iv — Instrumental Variables
  • sutva — SUTVA (Stable Unit Treatment Value Assumption)
  • parallel-trends — Parallel Trends
  • event-study — Event Study
  • psm — Propensity Score Matching
  • late — LATE (Local Average Treatment Effect)
  • att — ATT (Average Treatment Effect on the Treated)
  • twfe — TWFE (Two-Way Fixed Effects)