Бутстрап — синтез

Сводка по 31 заметке из AB/ с упоминанием бутстрапа. 10 «ядра» (от 10 и более упоминаний) — основные источники; остальные — контекстные ссылки.

§ 01 В чём метод

Бутстрап — непараметрический способ оценить распределение выборочной статистики, ничего не зная о её аналитической форме. Из исходной выборки n раз тянем подвыборку того же размера с возвращением, считаем нужную статистику (медиана, квантиль, ratio, разность средних — любая) — получаем эмпирическое распределение, по которому строим доверительные интервалы и проверяем гипотезы.

Ключевое: бутстрап «притворяется» генеральной совокупностью — он не добавляет информации к выборке, а только показывает изменчивость статистики при её повторном вычислении.

§ 02 Как применяют в компаниях

компания	особенность
X5 (Nazarov)	Базовый бутстреп + спецкейс для временных рядов (104 упоминания в одной статье — block/sieve/residual bootstrap, почему обычный не работает); + бутстреп по объектам для ratio-метрик
VK	Practitioner's Guide §3.3: Poisson bootstrap для big-data global CTR; reweighted user CTR bootstrap; сравнение с Mann-Whitney
Kuper (Mosin)	«Швейцарский нож аналитика» — обобщённая функция, идеология «нет параметрических предположений»; для ratio: семплировать пользователей, а не наблюдения
Avito (Lunin)	Бутстрап как универсальный аналог t-test и бутстрап-вариант CUPED; «когда формула страшная — bootstrap»
Glowbyte	Учебный роадмэп для новичков, базовый алгоритм
Sravni	Виджет в DIY-инструментарии; бенчмарки скорости: 10M × 1000 = ~5 минут
expf	Бутстрап в общей теории Лоладзе + децильный метод как разновидность
Ozon	Упоминание в обзоре «шесть причин почему AB не работают»

§ 03 Где работает хорошо

Метрики без аналитической формулы СО — медиана, квантили, ratio, любые сложные статистики
Распределения, далёкие от нормального — параметрические критерии не подходят, бутстрап работает
Ratio-метрики (CTR, средний чек, retention) — семплируем пользователей целиком, бутстрап корректно учитывает зависимость наблюдений
Оценка качества ML-моделей — CI для accuracy/F1/precision на множестве бутстрап-выборок
Когда нужен ДИ, а не p-value — бутстрап даёт интервал напрямую через перцентили
Big data при правильной реализации — Poisson bootstrap (VK) позволяет масштабировать на миллиарды событий

§ 04 Подводные камни

Бутстрап не создаёт новой информации. Только отражает изменчивость уже имеющейся выборки. Если выборка нерепрезентативна — бутстрап эту нерепрезентативность не исправит.
Размер бутстрап-выборки = размер исходной. Иначе SE считается некорректно (зависит от размера).
Стандартный бутстрап ломается на временных рядах. Семплирование с возвращением разрушает временную структуру — нужны block bootstrap, sieve bootstrap или работа на остатках после удаления тренда/сезонности (X5).
Для ratio-метрик семплировать ПО ОБЪЕКТАМ, не по наблюдениям. Иначе одного пользователя «разделим» между группами и оценка смещается (X5, Kuper).
Медленный на больших данных. Sravni: 10M строк × 1000 итераций ≈ 5 минут. Для миллиардов — нужны Poisson/reweighted варианты (VK).
Рекомендуемое число итераций — 1 000–10 000. Меньше — нестабильно, больше — потеря времени без выигрыша в точности.
Не панацея для маленьких выборок. Бутстрап опирается на эмпирическую функцию распределения — при n < 30 она плохо приближает истинную, ДИ будет шириной с весь возможный диапазон значений.

§ 05 Связанные методы

метод	роль рядом с бутстрапом
Дельта-метод	Аналитическая альтернатива для ratio-метрик: быстрее, но требует выводов; бутстрап применим к любой статистике без формул (X5, VK)
Линеаризация ratio	Превращает ratio в среднюю поюзерную метрику → можно t-test без бутстрапа (Kuper)
CUPED	Бутстрап используется для оценки итогового критерия после CUPED-преобразования (expf, Avito делает бутстрап-аналог CUPED)
Poisson bootstrap	Масштабируемая вариация для big data, особенно для global CTR (VK, Google)
Reweighted bootstrap	Семплирование с весами пропорционально активности пользователя — для глобальных метрик
Block bootstrap / sieve	Модификации для временных рядов, сохраняющие структуру зависимостей (X5)
Перестановочный тест	Концептуально близок (тоже resampling), но без возвращения; альтернатива для проверки гипотез
Monte Carlo	Бутстрап = частный случай MC; expf использует MC и для дизайна (Когда останавливать AB-тест ч.2)

§ Источники

10 ядерных заметок (≥10 упоминаний):

Бутстрап временных рядов (X5, 104) · Бутстрап и доверительные интервалы от теории к практике на Python (—, 85) · Practitioner's Guide to Statistical Tests (VK, 50) · Бутстрап и АБ тестирование (X5, 40) · AB тесты с метрикой отношения. Дельта-метод (X5, 27) · Вся основная теория Лоладзе + expf (23) · Бутстрап швейцарский нож аналитика в AB-тестах (Kuper, 23) · Линеаризация (Kuper, 17) · Как улучшить ваши AB-тесты ч.2 (Avito, 16) · Оптимизируем AB-тесты — единый шаблон (Sravni, 10)

21 контекстных — см. grep -rlE "[Бб]утстр|[Bb]ootstrap" AB/.