После запуска бесплатной доставки регистрации +40%, PM просит выкатить на весь трафик до конца дня. У тебя есть только 2 часа и нет данных по retention.
Вопрос: Что ты проверишь первым, чтобы не перепутать всплеск сигнала с реальным эффектом?
Какое решение ты бы принял за 2 часа и какой риск считаешь приемлемым?
Контекст: Это стартовая точка курса: мы задаем общий язык системы.
Задача этого модуля: понять, как отличать сигнал в метрике от реального изменения механизма.
Любое изменение в продукте запускает цепочку последствий. Не одну метрику — а несколько, часть из которых проявляется не сразу и не там, где ожидалось. Чтобы принимать решения осознанно, нужно видеть не отдельные числа, а структуру связей между ними.
Модуль учит читать эту структуру: как воздействие порождает сигнал, почему сигнал не равен результату, и где возникают побочные эффекты, которые меняют картину целиком.
Ошибка — останавливаться на третьем шаге. Метрика выросла — значит всё хорошо. Но в продукте рядом с каждым сигналом живут побочные процессы. Если их не видеть, решение принимается на основе неполной картины.
Маркетплейс доставки еды запускает промо — бесплатная доставка для первых трёх заказов. Вот как работает цепочка:
«Регистрации выросли на 40% — акция работает, масштабируем.»
Рост регистраций — это сигнал, а не результат. Без анализа retention, среднего чека и unit-экономики через 2–3 месяца невозможно понять, создаёт ли акция ценность или генерирует убыточный трафик. Решение «масштабировать» на основе одного сигнала — классическая подмена наблюдения выводом.
Фиксировать успех по первой выросшей метрике и не проверять, как изменение влияет на downstream-метрики, экономику и устойчивость эффекта.
Сначала отделяем быстрый сигнал от устойчивого эффекта: проверяем downstream-метрики и задержки. Затем формулируем решение только после проверки полного контура влияния.
Факт: После изменения видим сильный рост верхнеуровневого сигнала.
Интерпретация: Рост может быть частично локальным и не доходить до ценности для бизнеса.
Риск: Масштабирование по раннему сигналу может привести к просадке retention и unit-экономики.
Рекомендация: Запускать масштабирование только после проверки retention, среднего чека и downstream-метрик в стабильном окне.