Среднее значение может не описывать ни одного реального пользователя. Средняя конверсия 10% — это, возможно, 30% у одного сегмента и 2% у другого. Решение «по среднему» одинаково плохо для обоих.
Рост агрегированной метрики часто означает не рост эффективности, а сдвиг пропорций: стало больше сегмента с высоким показателем — среднее выросло, хотя ни один сегмент не улучшился. Это не теоретический парадокс — это повседневная ситуация в продуктовой аналитике.
Модуль учит видеть неоднородность до принятия решения и задавать три вопроса: «для кого это среднее?», «за счёт какого сегмента?» и «что будет, если микс изменится?».
| Искажение | Как выглядит | Почему возникает | Типовая ошибка |
|---|---|---|---|
| Mix shift | Агрегат растёт, хотя ни один сегмент не улучшился | Изменились пропорции сегментов — стало больше «хорошего» сегмента | Считать рост агрегата результатом улучшения продукта |
| Парадокс Симпсона | Агрегат растёт, а каждый сегмент в отдельности падает | Сегмент с высоким показателем стал весить больше | Принять решение go на основе агрегата, не разбив по сегментам |
| Скрытая неоднородность | Одно среднее скрывает два разных «холма» в распределении | Аудитория состоит из двух непохожих групп | Оптимизировать под «среднего пользователя», которого не существует |
| Эффект малого сегмента | Маленький сегмент показывает огромный рост, сдвигая агрегат | Высокий процентный рост при малой базе | Масштабировать решение, основанное на выбросе |
| Дифференцированное воздействие | Фича — win для одних и loss для других, агрегат — около нуля | Изменение полезно одному сегменту и вредно другому | «Нет эффекта» — отбросить фичу, вместо того чтобы катить по сегментам |
Маркетплейс запустил промокод. Средняя конверсия +10%. Но при разбивке по каналам — картина другая:
«Средняя конверсия выросла на 10% — промокод работает для всех.»
Агрегат — взвешенная сумма сегментов. Если веса (доли каналов) изменились одновременно с воздействием, невозможно отделить эффект от сдвига микса. «+10% в среднем» может означать «+35% для одних, 0% для других, −5% для третьих» — и решение для каждой группы разное.