Ratio / линеаризация — синтез

Сводка по 30 заметкам из AB/, где упоминаются ratio-метрики, линеаризация, дельта-метод или CTR. 10 «ядра» (от 11 и более упоминаний) — основные источники.

§ 01 В чём метод

Ratio-метрика — метрика-отношение двух сумм пользовательских сигналов: средний чек = ΣGMV / Σorders, CTR = Σclicks / Σviews, средняя длина сессии = Σtime / Σsessions. Особенность: знаменатель не равен числу пользователей — несколько заказов/показов могут принадлежать одному юзеру, наблюдения зависимы.

Стандартный t-test требует независимости — и на ratio-метриках даёт неверную оценку дисперсии. Чтобы корректно сравнить группы, есть три подхода:

Бутстрап по объектам (пользователям) — семплируем юзеров с возвращением, считаем ratio в каждой подвыборке
Дельта-метод — аналитическая формула дисперсии отношения через ряд Тейлора первого порядка
Линеаризация — преобразуем ratio в среднюю поюзерную метрику с независимыми наблюдениями, после чего корректен обычный t-test

Формула линеаризации: L_i = X_i − k · Y_i, где k = ΣX_control / ΣY_control (global ratio по контролю). После преобразования среднее L — это и есть линеаризованная ratio-метрика, к ней применимы все методы для пользовательских метрик (включая CUPED).

§ 02 Как применяют в компаниях

компания	особенность
VK	Practitioner's Guide (151 упоминаний) — самый полный обзор: global CTR через Poisson bootstrap, weighted bootstrap, дельта-метод, сравнение мощностей
Kuper (Mosin)	Главная статья «Линеаризация — зачем и как укрощать ratio-метрики» (117); линеаризация + CUPED встроены в платформу A/B-тестов
Ozon	«Шесть причин почему AB не работают»: ratio-метрики — одна из 6 главных ошибок; формула с `ratio_correction = r + 2 + 1/r`
expf (Лоладзе)	Любую метрику можно свести к ratio-метрике; CTR-наивный vs CTR-правильный (взвешенный)
Citymobil	Switchback + дельта-метод + линеаризация (как «улучшенная версия» базового подхода); классический пример с назначаемостью как композитной метрикой
Самокат	Внутренняя методичка про эквивалентность дельта-метода и дельта-линеаризации; интерпретация знаменателя; metrics decomposition
X5 (Nazarov)	Базовая статья про дельта-метод; бутстрап для ratio с семплированием по объектам
Avito	AB-платформа: ratio как один из типов метрик
Sравни	Анализ ratio с примерами кода для `bootstrap_ratio`

§ 03 Где работает хорошо

Метрики бизнес-смысла — почти все ключевые продуктовые метрики (CTR, средний чек, ARPPU, конверсия в покупку при множественных событиях) ratio по своей природе
Когда нужна сонаправленность с целевой метрикой — линеаризация её гарантирует (направление эффекта и значимость консистентны с исходной ratio, Kuper)
Производственные A/B-платформы — Kuper и Avito встроили линеаризацию как стандартный шаг
Switchback и композитные метрики — назначаемость, удержание заказа: дельта-метод (Citymobil)
Big-data global metrics — Poisson/weighted bootstrap позволяют масштабировать (VK)
На предэкспериментальных данных — для CUPED нужна линеаризация поверх ratio с обеих периодов

§ 04 Подводные камни

t-test «в лоб» на ratio даёт неверный p-value. Дисперсия отношения не считается стандартными формулами для среднего — нарушается предпосылка независимости.
«Среднее средних» ≠ глобальный CTR. Если на пользователя посчитать ratio и усреднить — получится не то же самое, что Σclicks / Σviews. Биномиальное распределение vs честное глобальное среднее (Kuper).
Композитные метрики ломаются больше всего. Когда числитель и знаменатель — суммы случайных величин, обычная выборочная оценка даже среднего смещена (Citymobil: ratio estimator bias).
Бутстрап для ratio: семплировать по объектам, не по событиям. Иначе одного пользователя «разделим» между группами — оценка смещена (X5, Kuper).
CUPED не применим напрямую к ratio. Сначала линеаризовать, затем CUPED поверх — иначе CUPED работает на зависимых данных (Kuper).
Sample Ratio Mismatch. Если по факту в группе доли не совпадают с дизайнерскими — все ratio-метрики смещены; проверять SRM в первую очередь (expf).
ratio_correction при множественных тестах: эффективный MDE растёт через формулу r + 2 + 1/r (Ozon).

§ 05 Связанные методы

метод	роль рядом с ratio/линеаризацией
Дельта-метод	Аналитическая альтернатива линеаризации; Самокат: они эквивалентны при разложении первого порядка
Бутстрап по объектам	Универсальная альтернатива, не требует выводов; медленнее, но применима к любой статистике (X5, Kuper, Avito)
Linearization + CUPED	Стандартная связка для production-платформ (Kuper) — линеаризовали, затем сократили дисперсию через предэкспериментальные данные
Poisson bootstrap	Big-data вариация бутстрапа для global CTR (VK)
Weighted user CTR bootstrap	Семплирование с весами пропорционально активности (VK)
Бакетирование	Альтернатива бутстрапу: режем выборку на N бакетов и считаем ratio в каждом — потом обычный t-test (Анализ ratio-метрик)
SRM check	Обязательная проверка корректности перед любым ratio-анализом (expf)
Switchback + дельта	Для метрик с социальными эффектами (Citymobil)
Прокси-метрика	Замена ratio на предусредненное поюзерное значение (Kuper, как один из трёх подходов)

§ Источники

10 ядерных заметок (≥11 упоминаний):

Practitioner's Guide to Statistical Tests (VK, 151) · Линеаризация — зачем и как укрощать ratio-метрики (Kuper, 117) · Анализ экспериментов с Ratio-метриками (—, 29) · Шесть причин, почему ваши AB-тесты не работают (Ozon, 28) · Вся основная теория Лоладзе + expf (18) · Бутстрап швейцарский нож (Kuper, 17) · Эксперименты в Ситимобил. Эпизод 2 (Citymobil, 13) · Воркшопы и методология АБ Самоката (12) · Varioqub за Mann-Whitney замолвите слово (X5, 11) · База — айсберг AB тестов (Kuper, 11)

20 контекстных — см. grep -rlE "[Лл]инеаризац|[Rr]atio|дельта-метод" AB/.