Симуляторы — Модуль 6. Кластерные эксперименты

Интерактивный инструмент для понимания того, как ICC и размер кластера искажают наивный t-test и уменьшают эффективный размер выборки.

Кластерные эксперименты

Cluster Simulator

Симулятор генерирует кластерный эксперимент с заданным числом кластеров, размером кластера и ICC и сравнивает два подхода к анализу:

наивный user-level t-test, который предполагает независимость всех пользователей;
кластерно-устойчивый анализ (агрегация по кластерам или cluster-robust SE) с расчётом design effect и n_eff.

Вы видите обе p-value бок о бок, а также оценку design effect — насколько дисперсия раздута из-за кластерной структуры.

Почему миллион пользователей в 20 городах по факту превращается в несколько сотен независимых наблюдений.

Что попробовать в симуляторе

Установите lift = 0. Посмотрите, как часто наивный t-test даёт значимый результат при нулевом эффекте (Type I error inflation), особенно при большом m и ненулевом ICC.
Увеличивайте ICC. При фиксированном числе пользователей рост ICC повышает design effect и резко снижает мощность коррекного кластерного теста — оцените, насколько сильно.
Играйте с числом кластеров. Сравните сценарии «много маленьких кластеров» и «мало больших кластеров» при одинаковом общем N — убедитесь, что главное ограничение мощности — именно число кластеров.
Сравните naive vs cluster-adjusted p-value. Найдите режимы, где naive p-value почти всегда «красивая» (0.01–0.03), а кластерная версия честно показывает отсутствие значимости.