Рынок двигается сам. Ваша задача — не принять фон за результат.
Сезонность — предсказуемые циклы (день недели, праздники, периоды активности). Спрос растёт и падает по известным паттернам: выходные отличаются от будних, праздники создают пики, лето отличается от зимы. Если вы не контролируете сезонность, любой эксперимент выглядит "эффектом": вы сравниваете понедельник с пятницей, или праздничную неделю с обычной.
Шок — резкий сдвиг спроса или конкуренции. Внешнее событие (новость, изменение политики, конкурент запустил кампанию) меняет уровень спроса на дни или недели. Шок отличается от сезонности тем, что он разовый и непредсказуемый. Ошибка: приписывать рыночный эффект продуктовой фиче (и наоборот). Если CPM вырос после вашего изменения, но одновременно произошёл внешний шок, вы не можете знать, что было причиной.
Если вы не контролируете сезонность, любой эксперимент выглядит 'эффектом'.
Шок меняет уровень. Сезонность меняет форму.
Сначала фон. Потом вывод.
| Правило | Зачем | Типовая ошибка |
|---|---|---|
| Сравнивать одинаковые дни недели | Исключить эффект дня недели (понедельник vs пятница) | Сравнивать понедельник с пятницей и думать, что это эффект |
| Держать стабильные окна | Окна сравнения должны быть одинаковой длины и структуры | Сравнивать 3 дня с 7 днями или праздничную неделю с обычной |
| Учитывать лаг | Рынок реагирует с задержкой, эффект может проявиться позже | Делать вывод сразу после изменения, не дожидаясь стабилизации |
| Иметь контрольный сегмент/поверхность | Контроль показывает, что происходит без вашего изменения | Считать, что изменения в контроле — это тоже эффект вашего изменения |
| Не менять несколько вещей одновременно | Нельзя понять, что именно вызвало эффект | Менять floor, caps и фичу одновременно, потом не знать причину |
| Фиксировать change log | Знать, когда и что менялось, чтобы не путать причины | Забывать, что менялось, и приписывать эффект не тому изменению |
| Смотреть распределения и хвосты | Среднее может скрывать изменения в хвостах или сегментах | Судить только по среднему, не видя, что хвосты или сегменты расходятся |
| Проверять price vs volume отдельно | Рост revenue может быть из-за price или volume, важно различать | Считать рост revenue успехом, не замечая, что volume упал |
| Не делать вывод по 1–2 дням | Короткие окна слишком шумные, легко ошибиться | Делать вывод по одному дню или двум дням, не дожидаясь стабилизации |
| Использовать baseline (ожидание) как референс | Baseline показывает, что было бы без изменения, с учётом сезонности | Сравнивать post с pre напрямую, не учитывая сезонность и тренд |
| Проверять синхронность по сегментам | Внешний шок затронет все сегменты, внутреннее изменение — только часть | Приписывать синхронный шок по всем сегментам внутреннему изменению |
| Сверять с внешними событиями | Праздники, новости, изменения политики влияют на спрос | Не знать о внешнем событии и приписывать его эффект своему изменению |