Сравнение 3 тестов — Описание

Сравнивает проекции трёх A/B-тестов на 100% раскатку, позволяя выбрать лучший тест для полной раскатки на основе их текущих результатов и ожидаемого эффекта.

Что считает

  • Проекции выручки для каждого из трёх тестов при раскатке на 100%
  • Сравнение эффектов по каждому тесту с визуализацией на одном графике
  • Ранжирование тестов по ожидаемой выручке после полной раскатки
  • Нелинейности масштабирования — как эффекты изменяются при увеличении доли раскатки

Параметры

  • Для каждого теста (1, 2, 3): базовая выручка, доля теста, изменения метрик (ΔCPM, ΔShowRate, ΔRequests)
  • Доля раскатки: слайдер для просмотра эффекта на разных этапах раскатки (0% до 100%)

Как интерпретировать

График показывает проекции выручки для всех трёх тестов на одной оси. Тесты могут иметь разные эффекты на текущей доле, но при масштабировании их относительное ранжирование может измениться. Калькулятор помогает увидеть, какой тест даст максимальную выручку на полной раскатке, учитывая нелинейности масштабирования и взаимодействия метрик.

Примеры

  • Выбор теста для раскатки: сравните три альтернативных решения и выберите то, которое даст наибольшую выручку на 100%
  • Оценка приоритетов: если ресурсы ограничены, калькулятор покажет, какой тест стоит раскатывать первым
  • Проверка устойчивости: изменяйте долю раскатки и наблюдайте, сохраняется ли лидерство выбранного теста на всех этапах