Контекст
A/B-тест завершён. Эксперимент длился 14 дней, трафик стабильный. В тестовой группе изменили механику показа рекламы. Нужно принять решение: запускать в прод, откатывать или дорабатывать.
Есть метрики: выручка, конверсия, удержание, RPM, CPM, объём показов. Все расчёты корректны, качество данных не вызывает вопросов. Проблема не в вычислениях — проблема в ясности решения.
Таблица с результатами экспортирована из системы аналитики. Все числа на месте. Но решение неочевидно.
ДО: слабая таблица
| Метрика | Control Revenue | Test Revenue | Revenue Delta | Control RPM | Test RPM | RPM Delta | Control Retention | Test Retention | Retention Delta | Control Conversion | Test Conversion | Conversion Delta |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Day 1-7 | 125000 | 128500 | +2.8% | 2.85 | 2.91 | +2.1% | 0.72 | 0.71 | -1.4% | 0.045 | 0.046 | +2.2% |
| Day 8-14 | 127000 | 130200 | +2.5% | 2.88 | 2.94 | +2.1% | 0.73 | 0.72 | -1.4% | 0.046 | 0.047 | +2.2% |
| Total | 252000 | 258700 | +2.7% | 2.865 | 2.925 | +2.1% | 0.725 | 0.715 | -1.4% | 0.0455 | 0.0465 | +2.2% |
Типичная широкая аналитическая таблица: много столбцов, метрики перемешаны, контроль и тест не визуально разделены, все числа имеют одинаковый визуальный вес. Такая таблица обычно получается при экспорте из системы аналитики или электронной таблицы. Столбцы идут в том порядке, в котором они были в запросе или датасете.
Почему это не работает
Сравнение требует сканирования
Чтобы сравнить контроль и тест по одной метрике, нужно найти соответствующие столбцы, которые могут быть далеко друг от друга. Глаз вынужден прыгать по таблице, теряя контекст. Каждое сравнение требует когнитивной нагрузки на поиск и сопоставление. Невозможно быстро оценить общую картину: сколько метрик улучшилось, сколько ухудшилось, каков масштаб изменений.
Дельты теряются в шуме
Дельта находится в отдельном столбце, но визуально не выделена. Положительные и отрицательные изменения выглядят одинаково. Невозможно быстро определить, какие метрики важны для решения, какие изменения значимы, а какие находятся в пределах шума. Таблица показывает все числа, но не структурирует их так, чтобы ответ на вопрос решения был виден сразу.
Таблица не отвечает на вопрос решения
Решение требует понимания: есть ли эффект, какой он по знаку и величине, согласованы ли метрики между собой. Таблица показывает все числа, но не структурирует их так, чтобы ответ на вопрос решения был виден сразу. Нужно мысленно перегруппировать данные, что замедляет и увеличивает риск ошибки. Таблица блокирует принятие решения, даже если все расчёты корректны.
ПОСЛЕ: таблица как аргумент
| Primary | Guardrails | Diagnostic | ||||||
|---|---|---|---|---|---|---|---|---|
| Метрика | Control | Test | Метрика | Control | Test | Метрика | Control | Test |
| Revenue | 252,000 | 258,700 | Retention | 0.725 | 0.715 | RPM | 2.865 | 2.925 |
| +2.7% | -1.4% | +2.1% | ||||||
| Conversion | 0.0455 | 0.0465 | Shows | 88,200 | 88,700 | |||
| +2.2% | +0.6% | |||||||
Переструктурированная таблица: метрики логически сгруппированы, контроль и тест визуально разделены, направление и величина изменения выделены, решение видно с первого взгляда. Используются: порядок строк (группировка по типам метрик), визуальное разделение (контроль и тест рядом), минимальное выделение (дельты с цветом знака), выравнивание (числа выровнены для сравнения).
Влияние на решение
Неправильные решения: Замедление принятия решения из-за необходимости сканировать таблицу и мысленно перегруппировать данные. Риск ошибки интерпретации из-за потери контекста при сравнении далеко расположенных столбцов. Блокировка решения из-за неочевидности структуры и невозможности быстро оценить общую картину.
Правильные решения: Быстрое принятие решения за один взгляд благодаря логической группировке метрик и визуальному выделению дельт. Снижение риска ошибки благодаря явной структуре, которая отражает логику решения. Уверенность в решении благодаря очевидности эффекта и согласованности метрик.
Извлечённое правило
Итоговая таблица A/B-теста работает, когда она отвечает на вопрос решения за один взгляд. Метрики сгруппированы по роли (primary, guardrails, diagnostic), контроль и тест визуально сопоставимы, дельты выделены по знаку и величине. Таблица не просто показывает числа — она структурирует их так, чтобы решение было очевидным. Итоговая таблица A/B-теста не работает, когда она требует мысленной перегруппировки данных. Если нужно сканировать таблицу, чтобы найти сравнение, если дельты теряются среди абсолютных значений, если структура не отражает логику решения — таблица блокирует принятие решения, даже если все расчёты корректны.
Проверка решения
- Можно ли принять решение за 10 секунд?
- Видна ли дельта сразу, без поиска по таблице?
- Понятно ли, какие метрики важны для решения?