Симуляторы — Модуль 5. Ускорение тестов

Интерактивный симулятор для исследования CUPED и методов снижения дисперсии.

Variance Reduction

CUPED Simulator

CUPED Simulator генерирует синтетические данные A/B-теста с pre-period ковариатой и показывает, как CUPED снижает дисперсию.

Вы задаёте параметры эксперимента — размер выборки, эффект, корреляцию pre-post, heavy tail — а симулятор рассчитывает raw и CUPED-adjusted оценки, визуализирует variance reduction и MDE и выдаёт рекомендацию.

Показатель	Что отражает
Raw SE	Стандартная ошибка без коррекции
CUPED SE	Стандартная ошибка после ковариатной коррекции
Variance reduction	% снижения дисперсии (теоретически = ρ²)
MDE before/after	Минимальный детектируемый эффект до и после CUPED
Рекомендация	Стоит ли применять CUPED в данной ситуации

Настройте параметры: размер выборки, эффект, корреляцию pre-post, heavy tail
Нажмите «Рассчитать» и сравните raw и CUPED-adjusted результаты: SE, variance reduction, MDE
Меняйте корреляцию и включайте heavy tail, чтобы увидеть, когда CUPED даёт максимальный выигрыш и когда он почти бесполезен

Открыть симулятор

Три миссии

Миссия 1: Увидеть силу корреляции. При фиксированных N и эффекте варьируйте ρ от 0.1 до 0.9 и наблюдайте, как variance reduction = ρ² меняет MDE (при ρ = 0.9 MDE падает примерно вдвое).
Миссия 2: Когда CUPED бесполезен. Задайте ρ = 0.1: variance reduction ≈1%, MDE почти не меняется, появляется предупреждение «Корреляция слишком низкая».
Миссия 3: Heavy tail + CUPED. Включите heavy tail и сравните raw SE с и без хвоста: абсолютный шум растёт, CUPED всё ещё даёт тот же % сокращения, но итоговый MDE остаётся высоким — нужна комбинация winsorization + CUPED.