Контекст
В эксперименте или продуктовом решении есть несколько метрик: основная, которая определяет решение, вспомогательные, которые помогают интерпретировать результат, и ограничивающие, которые задают условия допустимости. Но часто все они показаны одинаково, без визуального указания их ролей.
Типичные кейсы, где роли метрик скрыты:
- Итоги A/B-тестов: revenue (primary), conversion (diagnostic), retention (guardrail) — все показаны равноправно
- Решения о выкладке фичи: engagement (primary), satisfaction (diagnostic), performance (guardrail)
- Монетизационные эксперименты: RPM (primary), CPM (diagnostic), margin (guardrail)
- Продуктовые апдейты: activation (primary), retention (diagnostic), churn (guardrail)
Проблема не в данных, а в том, что разные метрики выполняют разные роли в принятии решения, и если эти роли не показаны визуально, график не поддерживает выбор. Primary, Diagnostic и Guardrails — это не термины, а роли метрик в решении. Если эти роли не показаны визуально, читатель не понимает, по какой метрике принимается решение.
ДО: метрики без ролей
Primary, diagnostic и guardrails метрики показаны как равнозначные, без визуального указания, какая метрика определяет решение, какая помогает интерпретировать результат, а какая задаёт условия допустимости. Нет визуального выделения ролей метрик, и читатель не понимает, по какой метрике принимается решение, какие метрики помогают понять механизм, а какие ограничивают допустимость.
Почему это не работает
Читатель не понимает, по какой метрике принимается решение
Если все метрики показаны равноправно, читатель не понимает, по какой метрике принимается решение. Primary метрика не выделена, и читатель не знает, на что опираться. Решение становится неопределённым: все метрики выглядят одинаково важными, и непонятно, какая из них определяет выбор. График не поддерживает решение, а создаёт неопределённость.
Диагностические метрики начинают конкурировать с основной
Если diagnostic метрики показаны так же, как primary, они начинают конкурировать с основной метрикой. Читатель видит несколько метрик с разными значениями и не понимает, какая из них важнее. Diagnostic метрики должны помогать интерпретировать результат primary, а не конкурировать с ней. Если их роли не показаны визуально, они создают шум и мешают принятию решения.
Guardrails воспринимаются как цели, а не как ограничения
Если guardrails метрики показаны так же, как primary, они воспринимаются как цели, а не как ограничения. Читатель видит guardrail метрику с отрицательным значением и думает, что это плохо, хотя guardrail должен только проверять, не нарушено ли ограничение. Guardrails должны задавать условия допустимости, а не конкурировать с primary метрикой. Если их роль не показана визуально, они искажают решение.
ПОСЛЕ: визуальная иерархия ролей
Визуальная иерархия ролей явно выделяет Primary-метрику, показывает Diagnostic-метрики как поясняющий слой и Guardrails как ограничения или пороги. График визуально отвечает на вопрос «Что решает, что объясняет, что ограничивает?», а не просто демонстрирует все метрики. Роли метрик визуально зафиксированы, и читатель понимает, по какой метрике принимается решение, какие метрики помогают интерпретировать результат, а какие задают условия допустимости.
Влияние на решение
Неправильные решения: Блокировать решение из-за вторичных колебаний, потому что diagnostic или guardrail метрики показаны так же, как primary, и их колебания воспринимаются как критичные. Принимать решение не по той метрике, потому что роли метрик не показаны визуально и непонятно, какая метрика определяет выбор. Путать цель и ограничение, воспринимая guardrails как цели, а не как условия допустимости.
Правильные решения: Принимать решение по Primary, потому что график явно показывает, какая метрика определяет выбор. Использовать Diagnostic для интерпретации, понимая их роль как поясняющий слой, а не как конкурирующие цели. Проверять Guardrails как условия допустимости, понимая их роль как ограничения, а не как цели, и не блокируя решение из-за их колебаний, если они не нарушают порог.
Извлечённое правило
Метрики выполняют разные роли. Если график не показывает эти роли, он не поддерживает решение. Primary, Diagnostic и Guardrails — это не термины, а роли метрик в решении. График должен визуально кодировать эти роли, явно выделяя primary метрику, показывая diagnostic как поясняющий слой и guardrails как ограничения. Визуальная иерархия должна отражать логику решения, а не просто показывать все метрики.
Проверка решения
- Ясно ли, какая метрика Primary? Видна ли она сразу на графике как определяющая решение?
- Понимаю ли я роль остальных метрик? Видно ли, какие метрики помогают интерпретировать результат, а какие задают ограничения?
- Могу ли я принять решение, не объясняя график устно? Или требуется дополнительное объяснение ролей метрик?