Мессенджер изменил алгоритм ранжирования чатов. Результаты по времени в приложении: неделя 1 — +12%, неделя 3 — +3%, неделя 6 — −2% (ниже контроля). Три среза одного эксперимента дают три разных вывода.
Дано · три среза
Неделя 1: +12% time in app. Вывод по этому окну — «ранжирование работает, катим».
Неделя 3: +3%. Вывод — «эффект есть, но слабый».
Неделя 6: −2%. Вывод — «изменение вредит».
Все три наблюдения — правда. Но они описывают разные фазы одной траектории
Форма эффекта
Novelty → Decay → Rebound
Первая неделя — эффект новизны: пользователи исследуют новый порядок чатов, время растёт. Недели 2–4 — привыкание, эффект затухает. Неделя 5–6 — побочный эффект: часть пользователей не находит нужные чаты, раздражается, открывает приложение реже. Время падает ниже контроля.
Вопросы для разбора
- Какая форма эффекта? Подходит ли одно число (средняя дельта) для описания?
- Где лаг между воздействием и настоящим откликом системы?
- Какое окно оценки вы бы выбрали — и почему?
- Какие guardrails могли проявиться позже (за пределами evaluation window)?
- Какие сегменты могут объяснить смену знака (новые vs. старые, активные vs. casual)?
- Решение: катить / не катить / продлить / катить частично — что и почему?
- Что мониторить после выката: через 2 недели? через 6 недель?
Разбор · идеальная логика
Не оценивать по пику
Evaluation window: ≥3 недели — дождаться затухания новизны и увидеть устойчивую дельту. На неделе 3 дельта +3% — это ещё не устойчивость, а хвост затухания. Правильный подход — подождать, пока кривая стабилизируется (плато или устойчивый тренд). Guardrail window: 6 недель. Смотреть retention D14, долю organic returns (без push), negative feedback. Сегментация: разбить по активности — если ядро теряет время, а casual-пользователи выросли на новизне — это маскировка деградации агрегатом.
Итог: решение и риски
Не катить на основе недели 1. Продлить наблюдение до 6 недель. Если на плато (недели 4–6) дельта ≤0% — не катить. Если +2–5% и guardrails чистые — катить с мониторингом ядра. Риск: решение на основе короткого окна выкатывает фичу, которая через месяц ухудшает продукт для основной аудитории.