На 7-й день эксперимент дает +12%, на 6-й неделе эффект почти нулевой. Руководитель просит катить сейчас, чтобы не терять квартальный план.
Вопрос: Какой горизонт считать достаточным, если цена задержки релиза высокая?
Что для тебя важнее в этом кейсе: скорость выкатки или устойчивость эффекта, и почему?
Контекст: В предыдущем модуле мы разобрали поток и узкие места воронки.
Задача этого модуля: понять, как форма эффекта во времени меняет управленческое решение.
Почти все продуктовые эффекты разворачиваются во времени. Метрика на 7-й день, на 21-й и на 42-й — это три разных наблюдения одного и того же процесса. Они могут показывать рост, стагнацию и деградацию — одновременно, в одном эксперименте.
Типовая ошибка — сделать вывод по короткому окну. На 7-й день всё растёт — катим. Но это может быть эффект новизны, который затухнет через 3 недели. Или медленная деградация, которая не видна на коротком горизонте. Вывод зависит не только от данных, но и от того, когда именно вы посмотрели.
| Форма | Как выглядит | Что обычно означает | Типовая ошибка |
|---|---|---|---|
| Step | Резкий сдвиг, потом плато на новом уровне | Механическое изменение (цена, лимит, порог) — эффект мгновенный и устойчивый | Принять за устойчивый эффект то, что ещё не успело затухнуть |
| Ramp-up | Медленный рост, ускоряется со временем | Сетевой эффект, обучение, накопление привычки | Остановить эксперимент до выхода на плато — «нет эффекта» |
| Decay | Пик в начале, затем плавное снижение | Затухание интереса, адаптация, насыщение | Оценить по пику — переоценить устойчивый эффект |
| Novelty spike | Резкий всплеск, быстрое возвращение к базе | Эффект новизны — пользователи пробуют, потом возвращаются к привычному | Выкатить на основе первой недели — потом удивиться, что «рост исчез» |
| Rebound | Рост, затем откат ниже исходного уровня | Побочный эффект сработал с задержкой: каннибализация, усталость, отток качественной аудитории | Увидеть рост, выкатить, а деградацию списать на «внешние факторы» |
| Regime shift | Долго без изменений, затем резкий перелом | Порог: система накопила изменения и сменила режим | «Ничего не происходит» — остановить наблюдение до перелома |
Мессенджер изменил алгоритм ранжирования чатов. Время в приложении: неделя 1 — +12%, неделя 3 — +3%, неделя 6 — ниже контроля.
«Метрика выросла на первой неделе — эффект подтверждён.»
Первая неделя почти всегда содержит эффект новизны. Рост на 7-й день — это наблюдение, а не подтверждение. Чтобы отличить новизну от устойчивого эффекта, нужно увидеть, что произойдёт после затухания. Решение на основе пика — одна из самых дорогих ошибок в продуктовой аналитике.
Останавливать анализ на первом "красивом" результате и не фиксировать решение через механизм, риски и проверку после внедрения.
Сначала определяем форму траектории и проверяем лаги. После этого выбираем решение по stability window, а не по самой ранней положительной точке.
Факт: Короткое окно показывает рост, длинное окно — нестабильность эффекта.
Интерпретация: Наблюдаем novelty/lag, а не подтвержденный устойчивый сдвиг.
Риск: Ранний rollout закрепит решение с высокой вероятностью отката и репутационных потерь.
Рекомендация: Фиксировать решение только после stability window и заранее согласованного горизонта наблюдения.