Почти все продуктовые эффекты разворачиваются во времени. Метрика на 7-й день, на 21-й и на 42-й — это три разных наблюдения одного и того же процесса. Они могут показывать рост, стагнацию и деградацию — одновременно, в одном эксперименте.
Типовая ошибка — сделать вывод по короткому окну. На 7-й день всё растёт — катим. Но это может быть эффект новизны, который затухнет через 3 недели. Или медленная деградация, которая не видна на коротком горизонте. Вывод зависит не только от данных, но и от того, когда именно вы посмотрели.
| Форма | Как выглядит | Что обычно означает | Типовая ошибка |
|---|---|---|---|
| Step | Резкий сдвиг, потом плато на новом уровне | Механическое изменение (цена, лимит, порог) — эффект мгновенный и устойчивый | Принять за устойчивый эффект то, что ещё не успело затухнуть |
| Ramp-up | Медленный рост, ускоряется со временем | Сетевой эффект, обучение, накопление привычки | Остановить эксперимент до выхода на плато — «нет эффекта» |
| Decay | Пик в начале, затем плавное снижение | Затухание интереса, адаптация, насыщение | Оценить по пику — переоценить устойчивый эффект |
| Novelty spike | Резкий всплеск, быстрое возвращение к базе | Эффект новизны — пользователи пробуют, потом возвращаются к привычному | Выкатить на основе первой недели — потом удивиться, что «рост исчез» |
| Rebound | Рост, затем откат ниже исходного уровня | Побочный эффект сработал с задержкой: каннибализация, усталость, отток качественной аудитории | Увидеть рост, выкатить, а деградацию списать на «внешние факторы» |
| Regime shift | Долго без изменений, затем резкий перелом | Порог: система накопила изменения и сменила режим | «Ничего не происходит» — остановить наблюдение до перелома |
Мессенджер изменил алгоритм ранжирования чатов. Время в приложении: неделя 1 — +12%, неделя 3 — +3%, неделя 6 — ниже контроля.
«Метрика выросла на первой неделе — эффект подтверждён.»
Первая неделя почти всегда содержит эффект новизны. Рост на 7-й день — это наблюдение, а не подтверждение. Чтобы отличить новизну от устойчивого эффекта, нужно увидеть, что произойдёт после затухания. Решение на основе пика — одна из самых дорогих ошибок в продуктовой аналитике.