Все курсы / Статистика A/B-тестирования / Модуль 8 / Симуляторы
Модуль Практика Симуляторы

Симуляторы

Инструменты, которые помогают увидеть, как свойства данных влияют на устойчивость квази-экспериментальных оценок и выбор статистического подхода.

Распределения
Distribution Playground

Квази-экспериментальные методы особенно чувствительны к форме распределения метрик: длинные хвосты, zero-inflation, сильная асимметрия.

В этом симуляторе вы можете:

  • конструировать разные типы распределений (нормальное, heavy tail, смесь с нулями);
  • смотреть, как меняются средние, медианы и доверительные интервалы при бутстрапе;
  • прикидывать, насколько надёжны оценочные процедуры, если ваши метрики далеки от «хороших» распределений.

Если данные сильно скошены и насыщены нулями, классические параметрические предпосылки для DiD и регрессий могут ломаться. В таких случаях бутстрапированные оценки или робастные статистики могут быть предпочтительнее.

Как heavy tail и zero-inflation искажают стандартные ошибки и доверительные интервалы, и почему в DiD и synthetic control иногда лучше переходить на бутстрап.
Открыть симулятор
Выбор теста
Карта выбора статкритерия

Даже когда у вас нет чистого A/B, выбор статистического подхода всё равно опирается на тип метрики и структуру данных.

Карта помогает связать:

  • тип метрики (пропорция, среднее, ratio, conditional метрики);
  • уровень агрегирования (пользователь, кластер, время);
  • выбор тестов и методов (t-test, проп-тест, регрессия, бутстрап, робастные оценки).

Используйте её как «операциональную шпаргалку», когда проектируете DiD, matching или synthetic control: от типа метрики зависит, какие предпосылки для шума и распределения вы закладываете в модель.

Как тип метрики и уровень агрегирования влияют на то, какие статистические тесты и модели безопасно использовать в квази-экспериментальном анализе.
Открыть симулятор

Примечание

В этом модуле мы сознательно фокусируемся на концептах квази-экспериментов, а не на конкретных реализациях в коде. Отдельные симуляторы для DiD, synthetic control и RDD находятся в планах и появятся позже.

Пока что используйте существующие инструменты, чтобы тренировать интуицию о данных:

Чем лучше вы понимаете свойства своих данных, тем безопаснее используете DiD, matching, synthetic control и ITS и тем честнее можете говорить о силе и ограничениях своих выводов.