Контекст
В A/B-тестах и продуктовых экспериментах эффект развивается во времени. Аналитик выбирает период анализа: первые дни, середина теста или весь период. От этого выбора зависит вывод и решение.
Типичные вопросы, которые возникают при выборе окна оценки:
- «Почему сначала был рост, а потом всё пропало?»
- «Почему за первые 3 дня эффект есть, а за 14 — нет?»
- «Нужно ли закрывать тест сейчас или ждать?»
Один и тот же эффект может выглядеть положительным, нейтральным или отрицательным в зависимости от выбранного периода. Проблема не в данных, а в том, как аналитик выбирает окно оценки и интерпретирует результат.
ДО: неправильное окно оценки
График с выбранным узким или неудачным периодом показывает эффект как нестабильный, шумный или отсутствующий. Вывод строится на частичном фрагменте динамики, без понимания того, что происходит до и после выбранного окна. Полная картина скрыта, и решение принимается на основе неполной информации.
Почему это не работает
Эффект может иметь лаг
Раннее окно оценки показывает «ничего», хотя эффект появится позже. Пользователи могут адаптироваться к изменению, алгоритмы могут переобучиться, поведение может измениться с задержкой. Если аналитик закрывает тест на основе раннего окна, он может пропустить реальный эффект.
Эффект может стабилизироваться
Короткое окно оценки усиливает шум и создаёт ложную нестабильность. Эффект может колебаться в первые дни, а затем стабилизироваться. Если аналитик выбирает окно в фазе колебаний, он видит нестабильность там, где на самом деле есть устойчивый тренд. Короткое окно не даёт увидеть полную динамику.
Выбор окна часто подгоняется под ожидания
Аналитик неосознанно выбирает период, который подтверждает желаемый вывод. Если ожидается положительный эффект, выбирается окно, где эффект виден. Если нужно показать отсутствие эффекта, выбирается окно с шумом. Это не злой умысел, а когнитивная ловушка: человек видит то, что хочет увидеть, и выбирает окно, которое это подтверждает.
ПОСЛЕ: корректная форма
График с полным временным диапазоном показывает, как меняется вывод при расширении или сдвиге окна. Читатель видит эффект до, во время и после выбранного периода. Окно оценки явно отмечено, и его выбор обоснован. Хорошая визуализация показывает, что вывод зависит от окна, и помогает понять, почему выбран именно этот период.
Влияние на решение
Неправильное решение: Закрывать тест слишком рано на основе узкого окна, которое не показывает полную динамику. Откатывать изменения из-за «пропавшего эффекта», не понимая, что эффект может иметь лаг или стабилизироваться позже. Продлевать тест бесконечно из-за шума в коротком окне, не видя, что эффект уже стабилизировался.
Правильное решение: Оценивать эффект в контексте его временного профиля, видя фазы запуска, адаптации и стабилизации. Разделять эти фазы и понимать, что вывод зависит от того, в какой фазе выбрано окно. Осознанно выбирать окно под вопрос решения: если нужно увидеть стабильность — выбирать период после стабилизации, если нужно увидеть динамику — выбирать период с изменениями.
Извлечённое правило
Вывод без указания окна оценки — неполный вывод. Если окно меняется — меняется и решение. Окно оценки — это не техническая деталь, а часть аналитического аргумента. Выбор периода уже содержит интерпретацию и напрямую влияет на решение. Всегда задавай вопрос: «за какой период сделан вывод?» и «как изменится вывод, если сдвинуть или расширить окно?»
Проверка решения
- Видно ли на графике, какое окно используется для оценки эффекта?
- Понимаю ли я, как эффект ведёт себя за пределами выбранного окна?
- Изменится ли вывод, если сдвинуть или расширить период оценки?