← На главную

Анатомия эксперимента

Как интерпретировать результаты эксперимента

Мы анонимизируем всё. Показываем форму динамики.

Цель — научиться читать механизм раньше, чем выручку.

Формат и ограничения

Нет названий фичей и внутренних терминов.

Нет абсолютных значений и точных процентов.

Все метрики нормированы (индексы).

Показываем форму причинно-следственной цепочки.

Сначала ломается механизм. Потом — итог.

вмешательство / давление
итог (выручка)

Форма важнее цифр: давление растёт → механика падает → деньги реагируют позже.

1) Вмешательство

Мы увеличили интенсивность монетизации (обезличенно). Это выглядит как рост давления.

В отчёте ожидается рост итога.

2) Ранний сигнал

Сначала реагирует механика: конверсия в показ/эффективность контакта начинает падать.

Это видно раньше, чем в деньгах.

3) Ловушка вывода

В окне тишины итог почти не меняется, и кажется, что всё хорошо.

Но это компенсация: система 'держит' итог, пока ухудшается механизм.

4) Итог

После лагов итог начинает реагировать: ухудшение проявляется в выручке.

Это не 'внезапное падение', а запоздалый эффект изменений.

Вывод: ранние сигналы важнее позднего итога.

Чеклист чтения эксперимента

Где воздействовали: давление / порядок / время?

Какая ранняя механика должна реагировать первой? (см. ранние сигналы)

Где ожидается тишина (лаг)?

Какой признак говорит: режим стал другим?

Не оптимизируйте по отчёту — оптимизируйте по механике.

Эта форма повторяется во многих экспериментах: рост давления сначала выглядит прибыльным.

Но если падает механика, то итог часто реагирует позже — и это становится 'сюрпризом'.

Эксперимент нужно читать во времени, а не как одно число в таблице.

← Назад к экспериментам