Карта AB-методологии.

§ 00 Восемь синтезов

Каждая тема разобрана в отдельном синтезе со своими §-секциями. Это «нижний этаж» карты — точные ссылки на источники, цитаты-маркеры, антипаттерны.

§ 01 Граф методов

Восемь тем образуют сеть, а не список. Связи прослеживаются по прямым формулировкам в источниках.

        Stratification ─── CUPED ─── Ratio/Linearization ─── Bootstrap
              │              │              │                    │
              │              │              │                    │
              └──── Causal Inference ────── │                    │
                            │               │                    │
                            └───── Switchback ───────────────────┘

Главная нота: то, что выглядит зоопарком техник, — единая семья методов борьбы с двумя проблемами: высокой дисперсией и зависимостью наблюдений. Условия задачи (есть/нет рандомизации, есть/нет network effect, что в знаменателе метрики) выбирают конкретный инструмент.

§ 02 Компании и их роль в комьюнити

15 компаний с устойчивым голосом в коммьюнити — те, что задают язык AB-методологии в RU-сегменте. Клик по названию — все статьи компании в библиотеке.

Расширенная таблица всех 36 компаний — на странице Компании.

§ 03 Топ-10 антипаттернов

Те, что повторяются в ≥2 синтезах разных компаний. Это де-факто учебник «как НЕ надо».

1. t-test «в лоб» на ratio-метрику → неверный p-value. Дисперсия отношения не считается стандартной формулой для среднего, нарушена независимость. Предупреждают: Kuper, Ozon, X5, VK.
2. CUPED напрямую на ratio-метрику. CUPED ожидает независимые наблюдения; для ratio нужна сначала линеаризация. Kuper, expf.
3. «Среднее средних» ≠ глобальный CTR. Сначала считать ratio на пользователя, потом усреднять — даёт биномиальное распределение, а не честный global CTR. Kuper, expf, VK.
4. Composite-метрики с обычной формулой дисперсии. Знаменатель — сумма случайных величин, появляется ratio-bias (назначаемость, удержание заказа). Citymobil.
5. Бутстрап для ratio: семплировать события, а не объекты. Один пользователь «разделяется» между группами, оценка смещается. X5, Kuper.
6. Игнорировать network effect / SUTVA. Если treatment одного пользователя влияет на других — обычный A/B неприменим. Citymobil, expf, HH.
7. Игнорировать смещение групп при использовании CUPED. CUPED сокращает дисперсию, но НЕ балансирует группы; ДИ красиво сужаются вокруг кривой оценки. X5 (Causal Inference в ритейле).
8. CUPED через выражение Y/(E[X]−X) или Y/X. «Нормированный» CUPED ломает и критерий, и интерпретацию метрики. Lunin (Avito) — специально предупреждает.
9. Бутстрап на временных рядах без block-структуры. Случайное семплирование с возвращением разрушает временные зависимости — нужны block/sieve/residual bootstrap. X5 (отдельная статья на 925 строк).
10. Стратификация / PSM по слабой ковариате. Без сильной связи с метрикой выигрыш по дисперсии копеечный, а сложность процесса растёт. Аналогично — мэтчинг без учёта конфаундеров. X5, HH.

§ 04 Заметки-хабы

5 статей, которые упоминаются как ядерные сразу в нескольких синтезах — лучшие точки входа в коллекцию.

§ 05 Три инсайта

Три вывода, которые не видны без прохода по всем синтезам.

Инсайт 1: «AB-методология — это одна семья методов, а не зоопарк»

CUPED, стратификация, линеаризация, дельта-метод, DiD, причинный анализ — выглядят как разные ремёсла, но решают одну задачу: снизить дисперсию или скомпенсировать зависимость наблюдений. Самокат прямо называет CUPED «непрерывным аналогом пост-стратификации»; HH — DiD «аналогом CUPED для observational»; Kuper встроил «линеаризация + CUPED» как единый шаг в production. Для курса: рисовать единый граф методов, а не вводить каждый изолированно.

Подтверждают: Самокат, HH, Kuper, X5.

Инсайт 2: «Топ-3 запретных приёма повторяются во всех серьёзных компаниях»

(1) t-test на ratio в лоб; (2) CUPED через Y / (E[X] − X); (3) бутстрап для ratio с семплированием по событиям, не по пользователям. Эти три ошибки выходят на поверхность у каждой компании — отдельный гневный абзац. Подтверждает: насколько фундаментальна именно зависимость наблюдений в ratio-метриках (а это большинство ключевых продуктовых метрик). Для курса: сделать «топ-10 как НЕ надо» первым уроком, а не последним.

Подтверждают: Avito (Lunin), Kuper (Mosin), Ozon, X5, VK.

Инсайт 3: «Лестница доказательств: от RCT к observational, по убыванию надёжности»

ODS вводит термин «лестница доказательств», и она ясно собирается из коллекции: рандомизированный A/B → switchback (для network effect) → квазиэксперимент с PSM/IPW/DiD → CausalImpact на 100%-раскатке. Каждая ступенька — компромисс: ниже надёжность, но шире применимость. Каждая компания спускается по этой лестнице по своей причине. Для курса: дать читателю явный mental model выбора метода под условия задачи; «нужен ли тебе вообще A/B, или хватит ступеньки ниже».

Подтверждают: ODS, Citymobil, HH, X5, Uzum, Lamoda.