Lesson 4: Время решает — A/B-тестирование: принятие решений на практике

Три формы эффекта

Эффект появляется сразу после выката и остаётся стабильным. График показывает резкий скачок и затем горизонтальную линию.

День 1-3: ▁▁▁ День 4: ████ (выкат) День 5-14: ██████████ (стабильно)

Эффект нарастает постепенно. Может быть связано с адаптацией пользователей, раскрытием инвентаря или накопительным эффектом.

День 1-14: ▁▂▃▄▅▆▇█ (постепенный рост)

Эффект новизны: сначала всплеск, затем откат к исходному уровню или ниже. Пользователи пробуют новое, но затем возвращаются к привычному поведению.

День 1-3: ▁▁▁ День 4-6: ████ (всплеск) День 7-14: ▂▂▂▂ (откат)

Лаг выручки/поведения: пользователь возвращается позже. Эффект может проявиться через несколько дней после первого взаимодействия.
Адаптация алгоритмов/аукциона/инвентаря: система учится и подстраивается под новое изменение. Эффект может меняться со временем.
Сезонность/weekday pattern: разные дни недели могут показывать разную динамику. Понедельник может отличаться от пятницы.
Накопительный эффект: pressure/attention. Эффект может накапливаться: чем дольше пользователь видит изменение, тем сильнее эффект.

Не останавливать на "первом плюсе/минусе": один день не делает вывод. Нужно видеть устойчивую динамику.
Фиксировать минимальную длительность заранее: до старта эксперимента определить минимальное окно оценки (например, 7-14 дней).
Следить за guardrails ежедневно: если guardrails начали деградировать — это стоп-сигнал, даже если primary ещё растёт.
Продлевать, если эффект нестабилен и CI широкие: если доверительный интервал слишком широкий или эффект "прыгает" — нужно больше данных.
Не менять метрики/окно на ходу: если решили смотреть на 14 дней — смотрите на 14 дней. Не меняйте правила в середине эксперимента.
Отдельно фиксировать "момент выката" и "момент стабилизации": эффект может проявиться сразу, но стабилизироваться позже. Нужно понимать оба момента.

Есть ли сдвиг уровня или только шум? Видно ли реальное изменение или это просто флуктуации?
Эффект нарастает или исчезает? Форма "ramp" или "bounce"? Это определяет устойчивость эффекта.
Есть ли перелом в конкретный день (релиз/ивент)? Может быть, эффект связан с внешним событием, а не с изменением.
Стабилизировалась ли разница? Эффект держится стабильно или продолжает меняться?
Guardrails не деградируют со временем? Проверь, не ухудшаются ли guardrails метрики по мере продолжения эксперимента.
Эффект повторяется по дням недели? Есть ли паттерн: понедельник отличается от пятницы?
Вывод: катим / ждём / перезапуск дизайна. Решение на основе формы кривой и устойчивости эффекта.