Симуляторы — Модуль 6. Эксперимент как инструмент понимания

Конструктор эксперимента

Задайте гипотезу и набор метрик — система покажет возможные сценарии результатов и как читать каждый из них.

Гипотеза

Primary

Конверсия в первую покупку

Diagnostic

Время до покупки, шаги онбординга пройдены

Guardrails

Retention D14, NPS

Возможные сценарии результатов

Primary ↑ + Guardrails ОК

Механизм работает. Метрика выросла, ничего не сломано.

→ Катим. Мониторим guardrails 2–4 недели

Primary ↑ + Guardrail ↓

Метрика выросла, но побочный эффект сигнализирует. Рост за счёт давления или подмены.

→ Не катим. Разбираем механизм. Итерируем

Primary 0 + Diagnostic ↑

Нет изменения primary, но поведение сдвинулось. Механизм включился, но не дошёл до метрики.

→ Не отбрасываем. Продлить тест или уточнить primary

Primary ↑ + Сегмент ↓

Среднее выросло, но один сегмент пострадал. Рост за счёт другого сегмента.

→ Не катим глобально. Сегментируем решение

Чтение

Один эксперимент — минимум 4 варианта исхода. Для каждого нужно заранее знать: какое решение принимаем. Если вы не описали это до запуска — вы не тестируете гипотезу, вы смотрите на числа.

Primary vs Guardrail

Двумерная плоскость решений: X — изменение primary, Y — изменение guardrail. Передвигайте точку — система показывает зону и рекомендацию.

Катим

Осторожно

Нельзя

Кликните на плоскость

Чтобы увидеть решение для конкретной комбинации primary/guardrail

Чтение

Решение — не одна метрика, а область допустимых комбинаций. «Primary +5%, guardrail −2%» — это одна точка на плоскости. Без guardrail-оси любой рост primary кажется «зелёным».

Симулятор ложной уверенности

Как p-value ведёт себя по мере накопления данных. Меняйте параметры и наблюдайте, как легко «поймать значимость», если подглядывать в результаты.

Истинный эффект 0%

Шум (дисперсия) 50

Размер выборки 500

Подглядывание

—

P-value (финал)

—

Сколько раз p<0.05

—

Вердикт

Чтение

Выставьте параметры и нажмите «Запуск» — вы увидите, как p-value скачет по мере накопления данных.