Эксперимент — инструмент наблюдения, не доказательства.
В монетизации важнее понять механизм изменения, чем "поймать дельту".
Эксперимент в монетизации — это не способ "доказать успех фичи", а инструмент диагностики механизма системы.
Одинаковая дельта в выручке может означать здоровый рост или скрытую деградацию. Важно не "выросло ли",
а "за счёт чего" и "какой ценой".
Три плохих вопроса
«Эта фича увеличила выручку?»
Почему плохо: Выручка — итог, который может расти за счёт компенсации ценой,
скрытого насыщения или рыночных артефактов.
Как переформулировать: "Какой рычаг сдвинулся и за счёт чего? Price или volume?
Механика или рынок? Здоровый рост или компенсация?"
«CTR вырос — значит хорошо?»
Почему плохо: CTR может расти при падении объёма, композиционном сдвиге или
вытеснении других форматов. Одна метрика почти всегда лжёт.
Как переформулировать: "Какая часть воронки изменилась? Opportunities, shows, clicks?
Не вытеснил ли один формат другой? Не упал ли объём при росте CTR?"
«Значимо — значит можно катить?»
Почему плохо: Статистическая значимость не говорит о практической полезности,
устойчивости эффекта, конфликте метрик или скрытых рисках.
Как переформулировать: "Какая цена эффекта? Какой риск? Есть ли конфликт метрик?
Что будет через месяц? Какой guardrail сработал?"
Правильная единица анализа
Гипотеза
→
Механизм
→
Риск
→
Метрики
→
Лаг
→
Решение
Эксперимент начинается с гипотезы о механизме, а не с вопроса "выросло ли".
Механизм определяет риски. Метрики показывают реакцию с лагом. Решение принимается на основе траектории,
а не точки.
Дельта vs Механизм
Одинаковая дельта в выручке может быть получена разными способами. Важно читать механизм, а не итог.
Выход: что считать успехом эксперимента
Ясная гипотеза в терминах механизма: какой рычаг сдвигается и за счёт чего
Заранее описанные primary и guardrail метрики: что смотрим и что защищаем
Ожидаемый лаг и окно наблюдения: когда ждать реакции и как долго смотреть
Проверка на артефакты: seasonality, auction competition, pressure artifacts
Интерпретация через разложение рычагов: price vs volume, механизм vs рынок
Решение: катить/не катить/доработать/повторить с другим дизайном — на основе механизма, а не дельты
Эксперимент не снимает ответственность. Он делает ответственность осознанной.