Время и лаги

Причины раньше. Деньги позже.

Окно оценки — часть дизайна эксперимента, а не "параметр отчёта".

3 источника лага

Поведение пользователя

Как проявляется: Привыкание к новому формату, накопление усталости от частоты, возврат пользователей после адаптации. Эффект может проявиться через недели.

Ранние сигналы: Frequency distribution, session depth, return rate, attention proxy.

Рынок

Как проявляется: Конкуренция адаптируется к изменениям, сезонность маскирует эффекты, спрос реагирует с задержкой на изменения в предложении. Циклы могут быть неделями.

Ранние сигналы: Competition intensity, baseline drift, seasonality-adjusted metrics, market share proxy.

Система

Как проявляется: Ограничения по доставке, кэширование решений, инерция аукциона, накопление технического долга. Эффекты могут накапливаться постепенно.

Ранние сигналы: Latency, fill rate, error rate, cache hit rate, delivery constraints.

Ошибка окна

Короткое окно ловит адаптацию и шум. Ранние метрики могут показывать временные эффекты: пользователи ещё не привыкли, система ещё не адаптировалась, рынок ещё не отреагировал. Короткое окно часто даёт ложные сигналы — либо переоценку эффекта (адаптация выглядит как рост), либо недооценку (эффект ещё не проявился).

Длинное окно ловит режим и хвосты. Поздние эффекты — усталость, накопление риска, деградация механизма — видны только в длинном окне. Но длинное окно может захватывать внешние изменения (сезонность, шоки), которые маскируют истинный эффект эксперимента.

Если решение необратимо — окно должно быть длиннее, чем лаг.

Окно меняет вывод

Сценарий

Delayed win

Early win, late loss

Long silence

Lag strength 50

Noise 30

Pressure coupling 40

Вывод по окнам

Uplift (short window)

+0%

Uplift (long window)

+0%

Короткое окно может пропустить поздние эффекты. Длинное окно показывает полную картину, но может захватить внешние изменения.

Как выбирать окно (правила)

Ситуация	Минимальное окно	Guardrails
Изменения давления	30+ дней (накопление усталости)	Fatigue proxy, frequency distribution, retention
Изменения цены/рынка	Окно кратно сезонности (минимум 2 цикла)	Baseline control, seasonality-adjusted metrics, market share
Изменения формата	14+ дней (привыкание пользователей)	Distribution tails, coverage, attention proxy
Изменения частоты	21+ дней (возврат пользователей)	Frequency buckets, return rate, session depth
Изменения качества	14+ дней (микс стабилизируется)	Coverage, composition shift, quality proxies
Изменения механизма доставки	7+ дней (кэш/инерция системы)	Latency, fill rate, error rate, cache hit rate
Изменения в аукционе	14+ дней (адаптация конкуренции)	Competition intensity, CPM distribution, win rate
Изменения в сегментации	21+ дней (стабилизация сегментов)	Segment stability, cross-segment effects, composition
Необратимые изменения	Окно > лаг + 50% (запас на неопределённость)	Long-term proxy, risk accumulation, regime change detection
Изменения с высоким риском	Окно > 2x ожидаемый лаг	Early warning signals, guardrails на каждый слой, late effects window

Красные флаги

Short uplift есть, long uplift хуже — ранний эффект не устойчив
Proxy улучшается раньше денег, но risk тоже растёт — скрытая деградация
Контроль "плавает" (нестабильный baseline) — внешние факторы маскируют эффект
Разница по сегментам усиливается — эффект не универсален, может быть артефакт
Позднее окно ухудшается без изменения рынка — подозрение на усталость/накопление риска
Эффект есть в short window, но исчезает в long window — адаптация или компенсация
Revenue растёт, но proxy падает — механизм ломается, деньги временные
Long window показывает противоположный эффект short window — лаг маскировал истину
Разница между окнами больше, чем эффект в short window — окно слишком короткое
Risk растёт быстрее revenue — система деградирует, эффект неустойчив

Время — это не фон эксперимента. Время — это механизм эксперимента.