← Назад к курсу экспериментов

Метрики для чтения эксперимента

Кто врёт первым.

Деньги — поздний сигнал. Guardrails — ваша страховка.

Три роли метрик

Primary (цель)

Что это: Метрика, которую хотим улучшить. Обычно это revenue или его proxy.

Как выбрать: Одна-две метрики максимум. Чётко определена до теста. Измерима и устойчива.

Типичная ошибка: Слишком много primary метрик или выбор после теста.

Diagnostic (объяснение)

Что это: Метрики, которые объясняют, почему изменилось. Декомпозиция на рычаги.

Как выбрать: Price vs volume vs mix. Ранние сигналы (coverage, showConv, pressure proxy).

Типичная ошибка: Смотреть только итог, не разлагать на компоненты.

Guardrails (защита)

Что это: Метрики, которые нельзя ухудшать. Защита от скрытой деградации.

Как выбрать: Заранее, до теста. Устойчивость, retention, quality proxies, risk indicators.

Типичная ошибка: Отсутствие guardrails или выбор после того, как они сработали.

Ранние vs поздние сигналы

Сигнал	Тип	Что может означать	Что проверить
Coverage / fill-like proxy	Ранний	Доступность инвентаря, заполнение воронки	Decomposition по слоям, constraints, delivery bottlenecks
ShowConv / eligible-to-show conversion	Ранний	Эффективность конверсии в показы, механизм отбора	Pressure proxy, quality mix, frequency distribution
Pressure/frequency tail proxy	Ранний	Накопление давления, усталость инвентаря	Distribution tails, frequency buckets, fatigue indicators
Quality/mix proxy	Ранний	Сдвиг качества инвентаря, композиционные изменения	Composition shift, quality-weighted metrics, segment analysis
Price proxy (auction price index)	Ранний	Изменения в конкуренции, спросе, ограничениях	Volume decomposition, competition intensity, constraints
Variance/volatility	Ранний	Нестабильность системы, накопление риска	Distribution spread, quantile analysis, stability metrics
Distribution tail shift	Ранний	Изменения в хвостах, вытеснение сегментов	Quantile comparison, coverage changes, segment stability
Revenue	Поздний	Итоговый эффект, компенсация всех факторов	Decomposition на price/volume/mix, guardrails, risk
Retention / satisfaction proxy	Поздний	Долгосрочное влияние на пользователей	Lag window, cohort analysis, fatigue accumulation
Risk accumulation	Поздний	Накопление скрытых проблем, деградация механизма	Long-term proxy, late effects window, guardrail trends
Regime change indicators	Поздний	Смена режима системы, переход в новое состояние	Baseline drift, structural breaks, long-term stability
Fatigue accumulation	Поздний	Накопление усталости, снижение эффективности	Frequency distribution, return rate, attention proxy

Декомпозиция дельты

Сценарий

Price-led

Volume-led

Mix shift

Hidden degradation

Pressure 50

Market 60

Одинаковая дельта revenue может быть получена разными способами. Важно разложить на компоненты и проверить guardrails.

Мини-шаблон для отчёта

Структура отчёта по эксперименту

Что меняли: Описание изменения в терминах механизма (давление, цена, формат, качество, частота).

Primary итог: Направление изменения (рост/падение/нейтрально) и величина эффекта в окне оценки.

Разложение: Вклад компонентов — price effect (рост/падение цены), volume effect (изменение объёма), mix/quality effect (сдвиг микса или качества).

Guardrails: Что ухудшилось (если ухудшилось), что осталось стабильным. Ранние сигналы (coverage, showConv, pressure proxy) и поздние (retention, risk accumulation).

Риски: Лаг (когда эффект проявится полностью), усталость (накопление давления), перераспределение (каннибализация, вытеснение), артефакты (сезонность, шоки рынка).

Решение: Катить (эффект устойчив, guardrails в порядке), продолжить (нужно больше времени для оценки), итерация (нужен другой дизайн), откат (guardrails сработали или эффект отрицательный).

Частые ошибки выбора метрик

Слишком много primary метрик — невозможно принять решение, когда они конфликтуют
Отсутствие guardrails — нет защиты от скрытой деградации, проблемы обнаруживаются поздно
Смотреть только средние — пропускаются изменения в распределениях, хвостах, сегментах
Игнорировать распределения/хвосты — среднее может расти, пока хвосты деградируют
Путать proxy с целью — proxy это инструмент диагностики, не сама цель
Интерпретировать price без volume — рост цены может компенсироваться падением объёма
Вывод по короткому окну — ранние эффекты могут быть адаптацией, поздние — усталостью
Игнорировать микс — композиционный сдвиг может маскировать истинный эффект
Переносить метрики из теста в прод без проверки — метрики могут работать по-разному в разных контекстах
"Значимость" вместо решения — статистическая значимость не говорит о практической полезности и устойчивости

Метрики — это язык системы. Guardrails — ваша грамматика.