CUPED — синтез

Сводка по 22 заметкам из AB/, где упоминается CUPED. 10 «ядра» (≥5 упоминаний) — основные источники, 12 «обвязки» — контекстные ссылки на метод.

§ 01 В чём метод

CUPED (Controlled-experiment Using Pre-Experiment Data) — техника снижения дисперсии в A/B-тесте за счёт ковариаты, измеренной до эксперимента. Из исходной метрики вычитается линейная компонента, скоррелированная с предэкспериментальным поведением пользователя:

Y_cuped = Y − θ·X

где X — поведение пользователя до эксперимента, θ = cov(Y,X)/var(X). Точечная оценка эффекта (разница средних) остаётся несмещённой, а дисперсия сжимается до var(Y)·(1 − ρ²), где ρ — корреляция X↔Y. Чем сильнее связь предэкспериментального поведения с метрикой, тем больше выигрыш.

§ 02 Как применяют в компаниях

компания	особенность
X5	Базовый CUPED + интеграция в Causal Inference для офлайн-ритейла: дисперсия и смещение групп решаются одновременно. Часовые гистограммы как ковариаты — дисперсия минус 40–70%
Avito (Lunin)	CUPED как 4 строки кода; ML-расширения CUPAC / CUNOPAC / CUMPED (ковариата как ML-прогноз); парная стратификация поверх
expf	Базовая статья с кейсами Skyeng (-30% дисперсии) и Avito; ранговая трансформация поверх CUPED — эквивалент 17.95× увеличения выборки (Booking.com)
Kuper	Линеаризация ratio-метрик + CUPED — связка встроена в платформу A/B-тестов
Glowbyte	Учебный «роадмэп для новичков»: CUPED и CUPAC бок о бок с формулами
VK	Practitioner's Guide §6.2: CUPED как стандарт; §6.3 — future-metric prediction как развитие
Самокат	Внутренняя документация + воркшопы; трактуют CUPED как непрерывный аналог пост-стратификации
HH	DiD (Diff-in-diff) подаётся как аналог CUPED для observational-данных
Citymobil	Switchback-эксперименты + перспектива внедрения CUPED поверх

§ 03 Где работает хорошо

Большой поток экспериментов на узких сегментах (Skyeng — ученики). Снижение дисперсии прямо переводится в сокращение трафика.
Сильная автокорреляция пользователя — метрики типа выручки, GMV, времени в продукте, числа сессий.
Длинная предэкспериментальная история — больше данных, выше ρ, сильнее эффект.
Поверх линеаризации для ratio-метрик (Kuper) — сначала линеаризовать, затем CUPED.
Офлайн-ритейл с гистограмными ковариатами — у X5 даёт –40–70% дисперсии.
Малые ожидаемые эффекты (MDE) — когда нужно ловить 1–5% прирост, CUPED делает это реалистичным без увеличения выборки.

§ 04 Подводные камни

Матожидание X на предпериоде должно совпадать в тесте и контроле. Иначе CUPED даёт некорректный результат — это де-факто проверка валидности A/A-разбиения.
Никогда не используйте «нормированный» CUPED вида Y / (E[X] − X). Lunin (Avito) прямо: «может портить и критерий, и оценку метрики».
На ratio-метриках напрямую не работает. Нужна сначала линеаризация (Kuper, expf), либо дельта-метод.
Не приводит распределение к нормальному. Дисперсия сжимается, но хвосты и выбросы остаются — для тяжёлых распределений нужна ранговая трансформация поверх (Booking).
Не решает смещение групп. Только повышает чувствительность. X5: задачи дисперсии и смещения должны решаться одновременно — иначе ДИ сужаются вокруг кривой оценки.
Требует, чтобы X не зависел от эксперимента. Иначе оценка эффекта смещается.

§ 05 Связанные методы

метод	роль рядом с CUPED
Стратификация (особенно парная)	Комплементарный способ снижения дисперсии; Avito комбинирует
Линеаризация	Обязательный шаг перед CUPED для ratio-метрик (Kuper, VK)
Ранговая трансформация	Накладывается поверх CUPED для тяжёлых хвостов (expf, Booking)
CUPAC / CUNOPAC / CUMPED	ML-обобщения CUPED: ковариата — прогноз модели (Avito)
Бутстрап	Альтернатива t-test для итоговой оценки после CUPED (expf)
Diff-in-diff	Аналог CUPED для observational-данных, добавляет временной фактор (HH)
Бакетизация	Параллельная техника предобработки для switchback (Citymobil)

§ Источники

10 ядерных заметок (≥5 упоминаний CUPED):

AB тестирование с CUPED детальный разбор (X5) · ML-критерии для AB-тестов (Avito) · Как улучшить ваши AB-тесты ч.2 (Avito) · Увеличиваем чувствительность экспериментов при помощи ранговой трансформации (expf) · CUPED или увеличение чувствительности метрики (expf) · Воркшопы и методология АБ Самоката · Вся основная теория Лоладзе + expf · Линеаризация (Kuper) · Как подготовить и провести AB-тестирование (Glowbyte) · От AB-тестирования к Causal Inference (X5)

12 обвязочных: см. полный список через grep -rl "CUPED" AB/.