Модуль 7. Аналитик и управленческое решение
Эффект только в одном регионе: формулировка для CPO
Вы провели A/B-тест новой фичи. Агрегат: primary +3%, статистически значимо. Guardrails без нарушений. Но при сегментации по регионам: регион A +12%, регион B 0%, регион C −2%. Механизм, объясняющий разницу, не найден. CPO спрашивает: «Катим глобально?»
Агрегат: +3%, p<0.05
Регион A: +12%
Регион B: 0%
Регион C: −2%
Механизм: не объяснён
Задание
- Какие гипотезы могут объяснить региональную разницу?
- Какие риски у глобального выката при необъяснённом механизме?
- Какие 3 решения возможны — и какие последствия у каждого?
- Какую формулировку вы отправите CPO? (напишите дословно)
- Какой мониторинг обязателен после любого из решений?
Разбор: гипотезы
Возможные объяснения: (1) различие в аудитории — в регионе A фича попадает в потребность, в других нет; (2) различие в supply/контенте/ассортименте — фича работает только при определённом наполнении; (3) случайность — +12% в одном регионе мог быть outlier, особенно при малом размере. Без понимания «почему» — нет основания экстраполировать.
Разбор: риски
Глобальный выкат при необъяснённом механизме: (1) эффект в B и C может стать негативным при масштабе; (2) агрегат +3% может исчезнуть при изменении доли региона A; (3) мы масштабируем то, что не понимаем — и не сможем это чинить, если сломается.
Разбор: три решения
1) Катить в регионе A: Безопасно. Эффект подтверждён. Параллельно исследовать механизм. Риск: упустим потенциал в B/C.
2) Катить глобально: Максимальный upside, если эффект реален. Но мы не знаем, почему B и C — ноль. Риск: масштабируем неизвестность.
3) Не катить, продолжить исследование: Задержка запуска. Но снижает вероятность ошибки. Нужно поставить конкретный вопрос: «что отличает регион A?»
Почему это сильный вывод
Факт отделён от интерпретации. Неопределённость названа. Риск масштабирования объяснён. Рекомендация конкретна: где катить, где нет, что исследовать, что мониторить. CPO получает не «да/нет», а карту решений с рисками. Это и есть работа аналитика.
Мини-задачи
«Покажи, что работает»
Руководитель просит подготовить данные к стейкхолдер-митингу. Фраза: «Покажи, что фича работает». У вас: primary +6%, один сегмент −4%, guardrail NPS снизился на 3 пункта. Два варианта подачи: (1) «Primary +6%, фича работает» — удобный; (2) «Primary +6%, но сегмент X −4%, NPS −3» — честный.
Реальная дилемма
Давление на подачу vs. профессиональная ответственность. «Удобный» вывод создаёт иллюзию, которая рассыпется при первом вопросе
Зона ответственности
Аналитик не обязан «показать, что работает». Обязан показать, что происходит. Включая неудобное
Преждевременное решение
Подать только позитив — и потерять доверие, когда проблемы всплывут
Сильная формулировка
«Фича показала +6% по primary, но с оговорками: сегмент X отреагировал негативно, NPS просел. Рекомендую катить с мониторингом сегмента X и NPS»
Null результат: повторять или менять гипотезу?
Месяц A/B-теста. Primary: 0%, не значимо. Менеджер: «Давай повторим с другими параметрами». Но diagnostic метрики тоже не сдвинулись: engagement, time on page, клики — всё стабильно. Механизм не включился. Это не «не хватило мощности» — это «гипотеза неверна».
Реальная дилемма
Команда вложила месяц работы. Признать null = признать, что идея не сработала. Повторять легче, чем пересматривать
Зона ответственности
Различить «недостаточно данных» и «механизм не работает». Diagnostic без движения = вторая ситуация
Преждевременное решение
«Не хватило мощности — повторим» без анализа diagnostic. Потеря ещё одного месяца
Сильная формулировка
«Результат null, но diagnostic тоже не сдвинулись — механизм не включился. Повтор с теми же параметрами маловероятно даст результат. Рекомендую: пересмотреть гипотезу, а не параметры теста»
Primary растёт, ключевой сегмент падает
A/B-тест нового интерфейса. Primary (конверсия): +5%. Но самый ценный сегмент (enterprise-клиенты, 60% выручки) показал −3%. Рост primary за счёт mass-market сегмента с низким ARPU. В агрегате — «зелёное», но по бизнесу — тревога.
Реальная дилемма
Формально тест положительный. Но рост за счёт дешёвого сегмента при потере дорогого — это потеря revenue, замаскированная ростом конверсии
Зона ответственности
Показать, что агрегат скрывает конфликт. Primary — не единственный критерий, когда сегменты разнонаправлены
Преждевременное решение
«Primary +5%, катим» без сегментации. Enterprise уходит тихо — эффект проявится через 2–3 месяца
Сильная формулировка
«Конверсия +5% в агрегате, но enterprise (−3%, 60% revenue) отреагировал негативно. Рекомендую: не катить глобально. Запустить для mass-market, для enterprise — итерировать. Мониторить ARPU и churn enterprise»
Guardrail чуть ухудшился, primary сильно вырос
Тест нового алгоритма поиска. Primary (click-through): +15%. Guardrail (diversity результатов): −4%. Формально guardrail не нарушен критически (порог −5%), но тренд тревожный. PM: «Guardrail в норме — катим».
Реальная дилемма
Guardrail −4% при пороге −5%: формально ОК, но trend = ещё не проявившаяся проблема. +15% primary создаёт сильное давление катить
Зона ответственности
Guardrail рядом с порогом — это не «ОК», это «ещё не красный, но уже жёлтый». Тренд важнее snapshot'а
Преждевременное решение
«Не превышен порог — значит, всё в норме». Через 2 месяца diversity может просесть до −8%, а пересмотреть алгоритм будет поздно
Сильная формулировка
«Primary +15% — сильный результат. Diversity −4% — формально в норме, но близко к порогу. Рекомендую: катить с обязательным мониторингом diversity (недельные срезы, 6 недель). Если diversity продолжит падать — план отката»