Контекст
В аналитике часто возникает ситуация, когда проводится эксперимент с тремя или более вариантами. Есть контроль и несколько тестов, и все варианты показаны равноправно на графике. Но задача не просто сравнить варианты, а выбрать один из них.
Типичные кейсы, где нужно показать структуру решения:
- Multivariate A/B: несколько тестовых вариантов одновременно
- Тесты алгоритмов: сравнение нескольких версий алгоритма
- Сравнение фич: несколько продуктовых изменений в одном эксперименте
- Монетизационные эксперименты: несколько вариантов ценообразования или форматов
Проблема не в данных, а в том, что график показывает различия, но не показывает решение. При множестве вариантов важно не показать всё, а визуально зафиксировать структуру выбора: кто лучший, кто хуже, и по какому критерию. График должен помогать сделать выбор, а не просто демонстрировать различия между линиями.
ДО: равноправное сравнение вариантов
Все варианты показаны одинаково, без визуального приоритета. Нет визуального выделения того, какой вариант лучше, какой хуже, и по какому критерию. Непонятно, какой вариант выбирать, и читатель вынужден сам строить структуру решения в голове, сравнивая все варианты между собой.
Почему это не работает
Отсутствует критерий выбора
Все варианты выглядят равнозначными, и нет визуального критерия выбора. График не показывает, какой вариант лучше, какой хуже, и по какому критерию это определяется. Читатель не понимает, на что опираться при выборе, и должен сам определять критерий, сравнивая все варианты между собой. Это замедляет принятие решения и создаёт риск неправильного выбора.
График не показывает, какие различия важны для решения, а какие вторичны
Если все варианты показаны равноправно, график не показывает, какие различия важны для решения, а какие вторичны. Все различия выглядят одинаково значимыми, и читатель не понимает, на что обращать внимание. График не направляет к решению, а просто демонстрирует данные, которые нужно интерпретировать. Это увеличивает когнитивную нагрузку и создаёт риск неправильной интерпретации.
Зритель вынужден сам строить структуру решения в голове
Если график не показывает структуру решения, зритель вынужден сам строить её в голове, сравнивая все варианты между собой и определяя, какой лучше. Это требует значительных когнитивных усилий и создаёт риск ошибки. График перестаёт быть аргументом для решения и становится задачей на интерпретацию, что замедляет принятие решения и снижает его качество.
ПОСЛЕ: визуальная структура решения
Визуальная структура решения явно выделяет лидера, деэмфазирует проигравшие варианты и фиксирует структуру выбора. График отвечает на вопрос «Какой вариант мы выбираем и почему?», а не просто демонстрирует различия. Возможно группирование (лучшие / остальные) или подпись, фиксирующая выбор. График становится инструментом выбора и защиты решения, а не просто набором данных.
Влияние на решение
Неправильные решения: Затягивать выбор, потому что график не показывает явного лидера и все варианты выглядят равноправными. Выбирать «на ощущении», сравнивая все варианты между собой без понимания структуры выбора. Просить дополнительные отчёты, пытаясь найти способ понять, какой вариант лучше.
Правильные решения: Быстро фиксировать лидера, потому что график явно показывает, какой вариант лучше. Понимать компромиссы, видя структуру выбора и понимая, какие варианты проигрывают и почему. Защищать решение визуально, опираясь на график, который явно показывает структуру выбора и критерий решения.
Извлечённое правило
Когда вариантов больше двух, график обязан показывать структуру выбора, а не просто различия. График должен визуально зафиксировать, кто лучший, кто хуже, и по какому критерию. При множестве вариантов важно не показать всё, а помочь сделать выбор, явно выделяя лидера и деэмфазируя проигравшие варианты. График становится инструментом выбора и защиты решения.
Проверка решения
- Ясно ли, какой вариант выбран? Можно ли сразу увидеть лидера на графике?
- Понятно ли, по какому критерию сделан выбор? Визуально ли зафиксирован критерий решения?
- Можно ли защитить решение, опираясь только на график? Или требуется дополнительное объяснение?