01. Цена и объём — A/B-решения

Самая частая ошибка при чтении эксперимента в монетизации — радоваться росту CPM. На дашборде красивая зелёная цифра, команда хочет катить, продакт уже пишет в чат. Покажу на примере, почему это опасно и что нужно проверить до любого решения.

Кейс · ситуация

Команда монетизации тестирует новый формат рекламного блока в ленте — увеличенный, более заметный. Гипотеза: блок будет лучше «забирать» внимание, рекламодатели будут платить больше, выручка вырастет.

Через 10 дней теста дашборд:

CPM: +6,2% (стат-значимо)
Revenue: +0,4% (на грани шума)
Shows: −5,1% (стат-значимо)

Продакт пишет в чат: «CPM вырос на 6%, эффект подтверждён, катим на всех». Маркетолог поддерживает: «Рекламодатели будут довольны, давайте раскатывать к концу недели». Аналитик молчит.

Интуиция «CPM вырос — значит катим» подводит здесь по одной причине: рост цены показа сам по себе ничего не говорит о том, что произошло с деньгами. Выручка — это не цена. Это цена, умноженная на объём. Пока неизвестно, что случилось с объёмом, вывод о тесте делать нельзя.

Стоп-вопрос. Достаточно ли роста CPM, чтобы катить тест? Если нет — какую вторую цифру нужно увидеть, и в каком направлении она должна меняться?

Что на самом деле двигает выручку

Выручка от рекламы — это произведение двух независимых переменных: сколько стоит один показ и сколько таких показов произошло. Рост одной при падении другой может обнулить или даже развернуть итог.

Формула выручки

Revenue ≈ (CPM / 1000) × Shows

CPM (cost per mille) — средняя цена за тысячу показов, которую платят рекламодатели. Shows — объём монетизируемых показов, то есть показы, которые реально произошли и принесли деньги, а не просто запросы к аукциону. Отсюда прямое следствие: если CPM вырос на 6%, а Shows упали на 5% — итоговый эффект на выручку близок к нулю. Именно это и происходит в нашем кейсе.

Четыре рычага, которые двигают выручку

Цена. CPM — насколько дорого продаётся показ. Зависит от аукциона, рынка, формата.
Объём. Monetizable shows — сколько показов реально произошло и принесло деньги. Не путать с requests.
Воронка. Requests → responses → shows. На каком этапе теряется объём.
Видимость. Show rate, viewability, scroll depth — как часто блок становится видимым и получает внимание.

Где ошибаются чаще всего

«CPM вырос — значит тест успешен». Не обязательно: если Shows упали сильнее, чем вырос CPM, выручка снизится.
«Выручка не выросла — значит ничего не произошло». Может выросли Shows, но упал CPM или изменился микс форматов — это диагностически важно.
«Fill rate вырос — значит деньги вырастут». Если show rate или внимание не выросли, объём показов может не измениться.
«Средняя дельта без формы кривой». Окно оценки скрывает динамику — особенно при лагах и эффекте новизны.

Мини-протокол: total-first

Когда видишь результат теста в монетизации, проходи по этому списку в порядке, не пропуская шагов. Каждый следующий пункт объясняет предыдущий.

Revenue или RPM. Есть ли изменение? Это главная метрика — с неё начинаем.
CPM. Что происходит с ценой: растёт, падает, стабильна?
Shows. Что происходит с объёмом монетизируемых показов? Это вторая часть формулы.
Воронка requests → responses → shows. На каком этапе меняется объём?
Show rate и viewability. Меняется ли видимость? Влияет ли это на объём показов?
Разрезы по device, platform, placement. Нет ли mix shift? Агрегат может маскировать разнонаправленные эффекты.

Возвращаемся к ситуации

Прогоним наш кейс по протоколу. На старте мы видели: CPM +6,2%, Revenue +0,4%, Shows −5,1%. Считаем по формуле.

Кейс · разбор

По формуле: Revenue ≈ CPM × Shows. Считаем дельту: (1 + 0,062) × (1 − 0,051) = 1,008. То есть произведение даёт +0,8% — ровно тот эффект, который мы видим на Revenue с учётом шума.

Выручка не выросла. Произошёл размен: цена показа действительно стала выше (формат заметнее, рекламодатели платят больше), но показов стало меньше — пользователи реже долистывают до места, где блок отображается, или платформа показывает блок реже из-за нового размера.

Что отвечает аналитик: «CPM растёт, но выручка не меняется. Это размен, не победа. Перед раскаткой нужно понять, где теряются Shows — в воронке или в видимости. Если в воронке — формат проблемный. Если в видимости — можно искать компенсацию в плотности или геометрии блока».

В работу

Рост CPM сам по себе ничего не значит. Деньги меняются только когда меняется произведение CPM × Shows.

Когда видишь рост CPM — следующий вопрос всегда «что с Shows». До ответа на него никаких решений по тесту не принимай.

Что дальше

Сценарий: цена растёт — выручка падает — отработка обратной ситуации.
Сценарий: рост выручки без роста цены — другой механизм, тот же протокол.
Сценарий: увеличение объёма с отрицательной отдачей — когда рост Shows тоже не помогает.