Раскатка теста на 100% — Описание

Проецирует результаты A/B-теста на полную раскатку (100%), используя наблюдаемые изменения метрик (ΔCPM, ΔShowRate, ΔRequests) для оценки итогового эффекта на выручку.

Что считает

  • Проекцию выручки при раскатке теста на 100% пользователей
  • Изменения метрик (CPM, ShowRate, Requests) при масштабировании эффекта теста
  • Итоговую выручку как произведение изменённых метрик на полном объёме трафика
  • Сравнение выручки в тесте и после полной раскатки

Параметры

  • Доля теста: процент пользователей в тесте (слайдер от 0% до 100%)
  • Базовые метрики: CPM, ShowRate, Requests в контрольной группе
  • Изменения в тесте: ΔCPM, ΔShowRate, ΔRequests (относительные изменения в тестовой группе)

Как интерпретировать

Калькулятор показывает, как изменяется выручка при раскатке теста от текущей доли до 100%. График демонстрирует нелинейность: эффект может масштабироваться нелинейно из-за взаимодействия метрик. Важно проверить, сохраняются ли наблюдаемые изменения метрик при масштабировании, или есть эффекты насыщения/конкуренции, которые могут изменить результат на полной раскатке.

Примеры

  • Принятие решения о раскатке: если тест показал +5% выручки на 10% трафика, калькулятор покажет ожидаемый эффект на 100%
  • Оценка рисков: проверьте, как изменяется выручка при постепенной раскатке (20%, 50%, 100%) для выявления нелинейностей
  • Планирование раскатки: используйте калькулятор для оценки эффекта на каждом этапе постепенной раскатки