Ритм контроля

Разные горизонты — разные метрики.

Ошибка №1: судить систему по короткому окну. Метрики шумят, лаги скрывают эффекты, сезонность маскирует тренды. Короткое окно даёт ложные сигналы и провоцирует ненужные действия.

Ритм = (сигналы ранние) + (итоги поздние) + (пауза после изменений). Ранние сигналы (механика, давление) смотрим каждый день. Итоги (выручка) — на окне лагов. После изменений — пауза до стабилизации.

Операционный календарь

Утро

5 минут

Воронка requests → responses → shows (цела ли)
Show rate vs вчера (не упал ли)
Coverage и доступность инвентаря
Прокси-давление (частота, плотность)
Аномалии в сегментах (выбросы)
Cooldown после вчерашнего релиза (не трогать)
Технические метрики (error rate, latency)
Алерты раннего предупреждения

Неделя

30 минут

Windowing: выбор окна для выводов
Лаги: сигнал vs деньги (где разрыв)
Сегментация: хвосты и дисперсия
Конфликтные метрики (CPM ↑, revenue ↓)
Здоровье экспериментов (стабильность)
Траектории во времени (скрытое насыщение)
Baseline и guardrails (не вышли ли)
Сезонность и внешние факторы
Проверка алертов (ложные тревоги)

Месяц

2 часа

Regime drift: смена режима работы
Saturation map: карта насыщения
Аудит определений метрик (не устарели ли)
Review порогов и алертов (качество)
Долгосрочные тренды (дрейф, не шум)
Сравнение сегментов (не растёт ли дисперсия)
Проверка компенсаций (цена vs объём)
Постмортемы инцидентов (паттерны)
Обновление плейбуков (новые паттерны)

Подбери горизонт и метрики

Горизонт

Цель

Окна сглаживания меняют вывод

Окно — это фильтр. Фильтр меняет решение.

Лаги: сигнал раньше денег

Сигнал покупает время реакции.

Cooldown после изменений

Что такое cooldown

Cooldown — это пауза после изменения системы, в течение которой нельзя делать новые изменения и нельзя судить об эффекте по итоговым метрикам. Это время нужно для стабилизации механизмов и проявления эффектов через лаги.

Почему нужен

Система монетизации имеет лаги: механические изменения проявляются в деньгах через 7–14 дней. Если менять систему каждый день, невозможно понять, что сработало, а что ухудшило. Cooldown даёт время для стабилизации и оценки эффекта.

Минимальные правила

Не меняйте больше одного рычага в окне лагов (7–14 дней)
Фиксируйте t0 (момент изменения) и ожидаемый t_money (когда эффект проявится в деньгах)
Не принимайте решения по итогу раньше t_money
Мониторьте ранние сигналы (механика, давление) каждый день, но не действуйте по ним
После t_money оцените эффект на окне 7–14 дней, затем принимайте решение о следующем изменении

Типовые ошибки ритма

Смотрим revenue каждый час

Как выглядит: Паника из-за часовых колебаний, ненужные действия.

Как исправить: Revenue смотреть на окне лагов (7–14 дней), ранние сигналы — каждый день.

Сравниваем разные окна

Как выглядит: Выводы меняются в зависимости от окна, нет единой картины.

Как исправить: Фиксировать окно для каждой метрики: сигналы — день, итоги — неделя/месяц.

Меняем конфиг каждый день

Как выглядит: Невозможно понять, что сработало, система нестабильна.

Как исправить: Cooldown после изменений: один рычаг в окне лагов, пауза до оценки.

Игнорируем сегменты

Как выглядит: Среднее маскирует проблемы в отдельных сегментах.

Как исправить: Смотреть метрики по сегментам отдельно, проверять дисперсию и хвосты.

Сезонность = эффект

Как выглядит: Естественные колебания принимаются за эффект изменений.

Как исправить: Сравнивать с предыдущим периодом и baseline, учитывать сезонность.

Один алерт на всех

Как выглядит: Алерт срабатывает слишком часто или слишком редко, не учитывает сегменты.

Как исправить: Сегментировать алерты, настроить пороги и окна для каждого слоя отдельно.

Ритм контроля делает систему предсказуемее — даже когда мир шумит.