Формы эффектов
Где появляется в аналитике
Step change (резкий сдвиг)
Появляется, когда изменение вступает в силу мгновенно и стабилизируется на новом уровне. Типичные случаи: изменение цены, переключение алгоритма, изменение правил показа. Эффект виден сразу и не меняется со временем.
Типичная ошибка: Считать среднюю дельту за весь период, включая дни до изменения. Это размывает эффект и скрывает его истинную величину.
Ramp (постепенный рост)
Появляется, когда эффект нарастает постепенно: пользователи адаптируются к новому интерфейсу, алгоритм обучается на новых данных, инвентарь раскрывается постепенно. Эффект не виден сразу, но становится заметнее со временем.
Типичная ошибка: Останавливать эксперимент на ранних днях, когда эффект ещё не проявился. Или наоборот — считать среднюю дельту, не замечая, что эффект нарастает.
Bounce (эффект новизны)
Появляется, когда изменение вызывает кратковременный всплеск интереса, который затем исчезает. Типичные случаи: новый дизайн, новая функция, рекламная кампания. Пользователи реагируют на новизну, но эффект не устойчив.
Типичная ошибка: Принимать решение на основе первых дней, когда эффект максимален. Или не замечать откат и считать, что эффект сохранится.
Влияние на решение
Step change
Когда эффект выглядит как резкий сдвиг уровня, решение можно принимать быстро: эффект стабилен, механизм понятен, дальнейших изменений не ожидается.
Неправильное решение: Катить изменение на основе среднего эффекта, не проверив стабильность на новом уровне. Или наоборот — не катить, потому что "эффект слишком большой, наверное ошибка".
Правильный вопрос: Стабилен ли новый уровень? Нет ли отката в последующие дни? Сохраняется ли эффект при разных условиях (дни недели, сегменты)?
Ramp
Когда эффект нарастает постепенно, решение нужно отложить: эффект ещё не стабилизировался, его истинная величина неизвестна, механизм может быть неполным.
Неправильное решение: Катить изменение на основе ранних дней, когда эффект ещё мал. Или наоборот — не катить, потому что "эффект нестабилен", не понимая, что он нарастает.
Правильный вопрос: Нарастает ли эффект стабильно? Есть ли признаки стабилизации? Какой эффект будет при полном раскрытии механизма?
Bounce
Когда эффект выглядит как всплеск с откатом, решение должно быть отрицательным: эффект не устойчив, механизм основан на новизне, который исчезает.
Неправильное решение: Катить изменение на основе пика эффекта, не замечая откат. Или продлевать эксперимент в надежде, что эффект вернётся.
Правильный вопрос: Есть ли откат после всплеска? Вернулась ли метрика к исходному уровню? Это эффект новизны или реальное улучшение?