Switchback — синтез

Сводка по 8 заметкам из AB/, где упоминается switchback. 5 «ядра» (≥10 упоминаний) — основные источники.

§ 01 В чём метод

Switchback (геохроносплитование) — тип эксперимента, в котором деление на тест и контроль идёт не по пользователям, а по парам «геозона × временной интервал». Каждая такая пара (unit) случайно попадает в тест или контроль; через заданный период (минуты-часы) распределение пересоздаётся. Все пользователи, попавшие в данную геозону в данное время, получают одинаковое «лечение».

Зачем: на пользовательском A/B не работает в логистике/маркетплейсах/такси, где наблюдения зависят друг от друга — один заказ влияет на следующий (свободный курьер уходит — другой заказ дольше доставляется). Это network effect / social effect — тест-группа «протекает» в контроль через общий ресурс. Switchback изолирует группы пространственно-временными границами.

§ 02 Как применяют в компаниях

компания	особенность
DoorDash (через expf)	Первоисточник методики; на 30% быстрее принимали продуктовые решения с switchback вместо обычного A/B
Citymobil	Эпизоды 1 и 2: внедрение «геохроносплитования» в такси-сервисе; статанализ — Multi Level Modelling (MLM) как основной метод (мало освещён в литературе)
Delivery Club (DC)	Внедрение в логистике доставки; «отложенные эффекты» как фактор выбора периода переключения; снижение доли невыполненных заказов
expf	Перевод DoorDash + контекст «социального эффекта»; trade-off скорости решений и сложности инфраструктуры
X5	Switchback по магазинам («Пятёрочка-день» как unit) для офлайн-ритейла; A/A-симуляции для калибровки
HH	Упоминание в Causal Inference как один из подходов борьбы с network effect

§ 03 Где работает хорошо

Доставка / такси / маркетплейсы — где курьеры/водители/исполнители разделяемый ресурс, и тест одного заказа влияет на другие (DoorDash, Citymobil, Delivery Club)
Офлайн-ритейл с географическими границами — магазин-день как unit (X5 «Пятёрочка-день»)
Когда сетевой эффект сильный — пользователи или объекты взаимодействуют между собой; обычный A/B даст недооценку или переоценку из-за «протечки» теста в контроль
При наличии чётких гео-границ — зоны должны быть достаточно изолированы, чтобы пользователи редко пересекали границу (Citymobil, expf)
Когда отложенные эффекты ограничены во времени — период переключения должен быть больше времени распространения эффекта, иначе предыдущий период «загрязняет» следующий (Delivery Club)

§ 04 Подводные камни

Зоны должны быть изолированы. Если пользователи/курьеры свободно пересекают границу зоны — сетевой эффект всё равно «протекает». Правильное выделение зон — отдельная сложная задача (expf, Лоладзе).
Период переключения = функция от длительности эффекта. Слишком короткий — отложенный эффект из предыдущего периода загрязняет следующий; слишком длинный — мало unit'ов, низкая мощность (Delivery Club).
Стандартные t-test/z-test не подходят напрямую. Unit-уровень (geo × time) — это не пользователь; нужны методы для зависимых наблюдений: MLM, линеаризация + дельта-метод, бутстрап с учётом структуры (Citymobil ч.2).
Высокая инфраструктурная сложность. Нужны системы автоматического переключения магазинов/зон между группами, что требует времени на разработку (X5).
Меньше unit'ов = ниже мощность. В обычном A/B каждый пользователь — наблюдение, в switchback — каждая пара (зона×время). На том же горизонте unit'ов в десятки/сотни раз меньше.
Композитные метрики ломаются сильнее. Назначаемость, удержание заказа — ratio-метрики на unit-уровне; смещение оценки нужно компенсировать дельта-методом или линеаризацией (Citymobil).

§ 05 Связанные методы

метод	роль рядом со switchback
Multi Level Modelling (MLM)	Основной статметод для анализа switchback; учитывает иерархическую структуру unit'ов (Citymobil)
Дельта-метод + линеаризация	Для ratio-метрик на unit-уровне; «улучшенная версия» базового подхода (Citymobil ч.2)
Diff-in-diff	Альтернатива switchback, когда нет возможности переключать единицы во времени (DoorDash)
CUPED	Перспектива внедрения поверх switchback для уменьшения дисперсии (Citymobil — обещание в следующей серии)
Бакетизация	Параллельная техника для switchback (Citymobil)
Бутстрап с учётом структуры	Block bootstrap для временной зависимости unit'ов
Кластерные эксперименты	Семейство, к которому относится switchback: рандомизация по кластерам (geo×time = один тип кластера), expf-классификация
Sequential testing	Перспектива для ускорения switchback (упоминание в expf-DoorDash)

§ Источники

5 ядерных заметок (≥10 упоминаний):

Switchback-тестирование. Как бороться с социальными эффектами в AB-тестах (expf/DoorDash, 42) · Эксперименты в Ситимобил. Эпизод 1 (Citymobil, 24) · Как мы научились АB-тестировать алгоритмы с помощью switchback-тестов (Delivery Club, 23) · Увеличиваем размер выборки и прокрашиваем серые метрики (—, 10) · Эксперименты в Ситимобил. Эпизод 2 (Citymobil, 8)

3 контекстных — см. grep -rliE "switchback|свитчбэк" AB/.