← Назад к курсу экспериментов

Конфликты метрик

Когда улучшение одной метрики ломает другую.

Правильный вопрос: какой компромисс мы принимаем — и чем платим.

В монетизации продуктовые метрики часто конфликтуют с денежными. CTR может расти при падении CPM. Выручка может расти при падении удержания. Важно не "выбрать сторону", а понять механизм компромисса и принять осознанное решение.

Четыре типовых конфликта

Выручка ↑, удержание ↓
Почему возникает: Перегруз системы давлением, деградация качества инвентаря, рост частоты показов без учёта усталости пользователя.
Что проверять: Pressure proxy, frequency, quality mix, сегменты по вовлечённости.
CTR ↑, CPM ↓
Почему возникает: Перераспределение внимания между форматами, приход дешёвого спроса, композиционный сдвиг в сторону низкокачественного инвентаря.
Что проверять: Mix shift, competition intensity, quality proxies, volume vs price decomposition.
ShowRate ↑, продуктовая вовлечённость ↓
Почему возникает: Инвентарь монетизируется ценой скролла и времени пользователя, ранние показы отнимают внимание от контента, рост давления снижает качество опыта.
Что проверять: Time-to-first-ad, scroll depth, session duration, attention proxy.
Продуктовые метрики ↑, выручка ↓
Почему возникает: Снижение плотности рекламы улучшает опыт, но падает доступность инвентаря и цена из-за снижения конкуренции в аукционе.
Что проверять: Coverage, fill rate, competition intensity, price vs volume decomposition.

Слои решения

Слой 1
Сигнал
Что выросло? Что упало? Насколько?
Слой 2
Механизм
Что именно изменилось? Какой рычаг сдвинулся?
Слой 3
Компромисс
Что мы обменяли? Какую цену платим?
Слой 4
Риск
Какой хвост событий мы увеличили? Что может сломаться позже?

Trade-off симулятор

50
сколько пытаемся показывать
70
насколько показы релевантны
60
насколько рынок платит
30
как быстро эффекты проявляются

Крути рычаги и смотри, как меняется компромисс между revenue, product_value и risk.

Как принимать решение (чеклист)

  1. Сформулируй конфликт: что выросло, что упало, насколько
  2. Определи рычаг: инвентарь, цена, давление, время — что именно сдвинулось
  3. Проверь guardrails: устойчивость системы, не падают ли критические метрики ниже порога
  4. Проверь лаг и окно: не режь хвост, дождись полного проявления эффектов
  5. Сделай разложение: куда ушла выручка — shows, CTR, CPM, mix shift
  6. Определи допустимую цену: сколько product можно "потратить" ради денег, и наоборот
  7. Выбери режим: катить, откатить, ограничить, сегментировать, итерация с другим дизайном
  8. Зафиксируй правило: что мониторим дальше, какие guardrails ставим, когда останавливаем

Компромисс неизбежен. Важно выбрать его сознательно и измеримо.