Агрегированная конверсия +10%, но в ключевом сегменте "ядро" — минус. PM предлагает катить всем и «потом разобраться».
Вопрос: Как принять решение, если агрегат позитивный, но есть риск повредить ядру продукта?
Какой компромисс rollout ты выберешь: полный, сегментный или пауза, и какой риск берешь на себя?
Контекст: В предыдущем модуле мы разобрали лаги и зависимость выводов от окна наблюдения.
Задача этого модуля: выделить эффект по сегментам и отличить реальный рост от сдвига микса.
Среднее значение может не описывать ни одного реального пользователя. Средняя конверсия 10% — это, возможно, 30% у одного сегмента и 2% у другого. Решение «по среднему» одинаково плохо для обоих.
Рост агрегированной метрики часто означает не рост эффективности, а сдвиг пропорций: стало больше сегмента с высоким показателем — среднее выросло, хотя ни один сегмент не улучшился. Это не теоретический парадокс — это повседневная ситуация в продуктовой аналитике.
Модуль учит видеть неоднородность до принятия решения и задавать три вопроса: «для кого это среднее?», «за счёт какого сегмента?» и «что будет, если микс изменится?».
| Искажение | Как выглядит | Почему возникает | Типовая ошибка |
|---|---|---|---|
| Mix shift | Агрегат растёт, хотя ни один сегмент не улучшился | Изменились пропорции сегментов — стало больше «хорошего» сегмента | Считать рост агрегата результатом улучшения продукта |
| Парадокс Симпсона | Агрегат растёт, а каждый сегмент в отдельности падает | Сегмент с высоким показателем стал весить больше | Принять решение go на основе агрегата, не разбив по сегментам |
| Скрытая неоднородность | Одно среднее скрывает два разных «холма» в распределении | Аудитория состоит из двух непохожих групп | Оптимизировать под «среднего пользователя», которого не существует |
| Эффект малого сегмента | Маленький сегмент показывает огромный рост, сдвигая агрегат | Высокий процентный рост при малой базе | Масштабировать решение, основанное на выбросе |
| Дифференцированное воздействие | Фича — win для одних и loss для других, агрегат — около нуля | Изменение полезно одному сегменту и вредно другому | «Нет эффекта» — отбросить фичу, вместо того чтобы катить по сегментам |
Маркетплейс запустил промокод. Средняя конверсия +10%. Но при разбивке по каналам — картина другая:
«Средняя конверсия выросла на 10% — промокод работает для всех.»
Агрегат — взвешенная сумма сегментов. Если веса (доли каналов) изменились одновременно с воздействием, невозможно отделить эффект от сдвига микса. «+10% в среднем» может означать «+35% для одних, 0% для других, −5% для третьих» — и решение для каждой группы разное.
Останавливать анализ на первом "красивом" результате и не фиксировать решение через механизм, риски и проверку после внедрения.
Сначала декомпозируем эффект по сегментам и весам, затем проверяем устойчивость при фиксированном миксе. Решение принимаем на уровне сегментов, а не среднего.
Факт: Агрегированная метрика положительная, но сегменты показывают разнонаправленный результат.
Интерпретация: Часть эффекта объясняется сдвигом микса, а не реальным улучшением для всех групп.
Риск: Полный rollout может ухудшить метрики ядра при красивом среднем результате.
Рекомендация: Применять сегментный rollout и отдельно мониторить ядро до решения о масштабировании.