Дизайн под давление

Один и тот же тест ведёт себя по-разному при разном давлении.

Эксперимент часто меняет распределение внимания, а не "создаёт ценность".

Давление ≠ ad load

Ad load — это сколько мы "пытаемся показать". Давление — это как система фактически отбирает внимание и инвентарь. Вытеснение одного формата другим, рост частоты без учёта усталости, ограничения по доступности или latency создают давление даже при низком ad load.

Давление проявляется через механизмы: каннибализацию (переток выручки между сегментами), вытеснение (рост в одном месте ценой падения в другом), накопление усталости (краткосрочный рост через перегруз приводит к долгосрочному ущербу).

Эксперимент может "выиграть" за счёт перераспределения, а не создания новой ценности
Окно оценки может не захватывать поздние эффекты давления (усталость, деградация)
Метрики теста могут расти, пока общая система деградирует

Три формы искажения

Каннибализация

Что это: Рост выручки в тестовом сегменте за счёт перетока из остальной системы. Общая выручка не меняется или растёт медленнее, чем в тесте.

Как выглядит: Revenue в тесте ↑, total revenue ↔ или ↑ медленно. CPM может расти в тесте при падении в остальной системе. Показатели "красивые", но система не выигрывает.

Вытеснение (displacement)

Что это: Рост showRate или CTR в одном месте ценой падения глубины контента, дочиток, времени сессии или внимания к другим форматам.

Как выглядит: Метрики монетизации ↑, продуктовые метрики ↓. Или рост в одном формате = падение в соседнем. Общий эффект нейтральный или отрицательный.

Усиление усталости

Что это: Краткосрочный рост выручки через увеличение давления (частота, плотность) приводит к накоплению усталости и долгосрочному ущербу.

Как выглядит: В окне оценки (7–14 дней) всё хорошо: revenue ↑, метрики стабильны. Через месяц: revenue падает, удержание деградирует, риск накоплен. Позднее окно хуже раннего.

Где победа в тесте превращается в проигрыш в системе

Сценарий

True gain

Cannibalization

Overpressure

Pressure level 50

Market strength 60

Одинаковая "победа" в тесте может означать разное для системы. Важно смотреть на total и поздние эффекты.

Как проектировать тест под давление

Риск	Как проявляется	Как дизайн помогает
Shared inventory	Рост в тесте = падение в остальной системе	Смотрим total revenue + decomposition по сегментам. Фиксируем "rest of system" как guardrail.
Конкуренция форматов	Один формат вытесняет другой, общий эффект нейтральный	Фиксируем соседние поверхности как guardrail. Смотрим composition shift.
Повышение частоты	Краткосрочный рост через перегруз → долгосрочная усталость	Задаём cap на frequency и guardrail на fatigue proxy. Расширяем окно наблюдения.
Рост latency	Техническая деградация маскирует денежный эффект	Технические guardrails: latency, error rate, availability. Мониторим отдельно.
Окно слишком короткое	Раннее окно показывает рост, позднее — падение	Заранее задаём lag window и late effects window. Не принимаем решение по раннему окну.
Непараллельные тесты	Пересечения тестов искажают выводы	Мониторим пересечения. Используем стратификацию или последовательный запуск.
Сегменты разные	Разные сегменты реагируют по-разному, средний эффект вводит в заблуждение	Стратификация по сегментам. Смотрим эффект внутри каждого сегмента отдельно.
Метрика "красивая"	Среднее растёт, но хвосты деградируют или coverage падает	Проверяем хвосты распределений, квантили, coverage. Не только среднее.
Тест меняет микс	Рост за счёт композиционного сдвига, а не улучшения механизма	Смотрим composition: mix shift, quality proxies, сегменты. Разложение по слоям.
Рост давления	Система оптимизируется сама, эффект не устойчив	Проверяем long-term proxy: retention, fatigue, risk accumulation. Мониторим после rollout.

Сигналы ложной победы

Test uplifts есть, total revenue почти не двигается
CPM растёт, volume падает — компенсация, а не рост
Risk/pressure растут быстрее денег — скрытая деградация
Рост в одном сегменте = падение в соседнем — каннибализация
Позднее окно хуже раннего — усталость накапливается
Распределение стало "чище", но coverage хуже — вытеснение хвостов
Метрики теста растут, но guardrails срабатывают — система сопротивляется
Краткосрочный эффект сильный, долгосрочный слабеет — давление, а не улучшение
Один формат выигрывает, другой проигрывает — перераспределение, не создание
Эффект есть в тесте, но не воспроизводится в rollout — артефакт давления

Под давлением система оптимизируется сама. Эксперимент должен это учитывать.