Cheat Sheet

TL;DR

Быстрый выбор метода, ответы на вопросы интервьюера и список красных флагов — всё на одной странице.

Decision tree: выбор метода

Есть чёткий порог (threshold) для assignment? RDD
Есть "до/после" + контрольная группа, parallel trends правдоподобны? DiD
Единичный treated unit, много контрольных, длинный pre-period? Synthetic Control
Можно подобрать "близнецов" по наблюдаемым ковариатам? Matching / PSM
Есть экзогенная вариация (инструмент), которая влияет на treatment? IV / 2SLS
Ничего из вышеперечисленного не работает? Не делать каузальных выводов

10 вопросов интервьюера

  1. Чем квазиэксперимент отличается от A/B?
    Нет рандомизации. Группы формируются не случайно, а по какому-то правилу, порогу или обстоятельству. Все методы — попытки компенсировать отсутствие рандомизации.
  2. Что такое parallel trends и как их проверить?
    Ключевое допущение DiD: без treatment обе группы двигались бы одинаково. Проверяют визуально (event study plot) и тестом на pre-trends. Доказать нельзя — только не отвергнуть.
  3. Когда DiD не работает?
    Когда treatment коррелирует с шоком, который по-разному затрагивает группы. Или когда есть anticipation — группа реагирует до treatment.
  4. В чём разница sharp и fuzzy RDD?
    Sharp: все выше порога получают treatment, все ниже — нет. Fuzzy: порог увеличивает вероятность treatment, но не гарантирует. Fuzzy RDD ≈ IV с порогом как инструментом.
  5. Почему matching не решает проблему ненаблюдаемых факторов?
    Matching балансирует только наблюдаемые ковариаты. Если selection обусловлен ненаблюдаемыми факторами — bias остаётся. CIA (conditional independence) — недоказуемое допущение.
  6. Что такое SUTVA и почему это важно?
    Stable Unit Treatment Value Assumption: потенциальный исход одного юнита не зависит от treatment-статуса других. Нарушается при spillover, сетевых эффектах, каннибализации.
  7. Назовите три условия валидного инструмента.
    Relevance (инструмент коррелирует с treatment), exclusion restriction (влияет на outcome только через treatment), independence (не коррелирует с ненаблюдаемыми факторами outcome).
  8. Как проверить, что результат квазиэксперимента не артефакт?
    Placebo tests (фиктивный treatment/период), falsification (outcome, который не должен реагировать), sensitivity analysis (насколько сильный confounder нужен для объяснения).
  9. Когда использовать synthetic control вместо DiD?
    Когда treated unit один (одна страна, один регион, один продукт), контрольных много, и нужен длинный pre-period для калибровки весов.
  10. Как "продать" результат квазиэксперимента стейкхолдеру?
    Объяснить дизайн простым языком, показать предпосылки и их проверки, дать диапазон оценок (sensitivity), чётко назвать ограничения и что не доказано.

Красные флаги