Все курсы / Статистика A/B-тестирования / Модуль 2 / Практика
Модуль Практика Симуляторы

Практика

Для каждой метрики определите тип, подход к тестированию и главный риск.

Задача 1. CTR — Клики / Показы

CTR - Клики / Показы. Каждый показ — либо клик, либо нет.

Ответ

Тип: Долей (Proportion)

Подход: z-test / chi-square / bootstrap

Риск: Treatment-affected exposure

Задача 2. CR — Доля пользователей, совершивших покупку

CR - Доля пользователей, совершивших покупку.

Ответ

Тип: Proportion

Подход: z-test для долей

Риск: Минимальный

Задача 3. ARPU

ARPU - Средняя выручка на пользователя (включая нулевые).

Ответ

Тип: Per-user

Подход: t-test / Welch (bootstrap при heavy tail)

Риск: Heavy tail

Задача 4. ARPPU

ARPPU - Средняя выручка среди покупателей.

Ответ

Тип: Conditional

Подход: Двухэтапная процедура / bootstrap

Риск: Selection bias

Задача 5. AOV

AOV - GMV / Количество заказов.

Ответ

Тип: Ratio

Подход: Delta-method / bootstrap отношения

Риск: Нестабильный знаменатель

Задача 6. Число заказов на пользователя

Число заказов на пользователя.

Ответ

Тип: Per-user

Подход: t-test / Welch

Риск: Умеренный heavy tail

Задача 7. Доля с ошибкой оплаты

Доля с ошибкой оплаты.

Ответ

Тип: Proportion

Подход: z-test для долей

Риск: Минимальный

Задача 8. Время до первой покупки (среди купивших)

Время до первой покупки (среди купивших).

Ответ

Тип: Conditional

Подход: Bootstrap с коррекцией

Риск: Selection bias

Задача 9. Refund Rate

Refund Rate - Возвраты / Заказы. Каждый заказ — возвращён или нет.

Ответ

Тип: Долей (Proportion)

Подход: z-test / chi-square / bootstrap

Риск: Минимальный

Задача 10. RPM

RPM - Рекламная выручка / Показы × 1000.

Ответ

Тип: Ratio

Подход: Delta-method / bootstrap отношения

Риск: Нестабильный знаменатель + heavy tail

Задача 11. DAU/MAU

DAU/MAU - Доля активных.

Ответ

Тип: Proportion

Подход: z-test для долей

Риск: Минимальный

Задача 12. GMV per user

GMV per user.

Ответ

Тип: Per-user

Подход: t-test / Welch (bootstrap при heavy tail)

Риск: Heavy tail

Задача 13. Средний рейтинг (среди оставивших отзыв)

Средний рейтинг (среди оставивших отзыв).

Ответ

Тип: Conditional

Подход: Bootstrap с коррекцией

Риск: Selection bias

Задача 14. Число сессий на пользователя

Число сессий на пользователя.

Ответ

Тип: Per-user

Подход: t-test / Welch

Риск: Умеренный

Задача 15. Стоимость доставки на заказ

Стоимость доставки на заказ.

Ответ

Тип: Ratio

Подход: Delta-method / bootstrap отношения

Риск: Нестабильный знаменатель

Задача 16. Конверсия в подписку среди увидевших paywall

Конверсия в подписку среди увидевших paywall.

Ответ

Тип: Conditional

Подход: Двухэтапная процедура

Риск: Selection bias

Задача 17. Retention Day 7

Retention Day 7.

Ответ

Тип: Proportion

Подход: z-test для долей

Риск: Минимальный

Задача 18. LTV per user

LTV per user.

Ответ

Тип: Per-user

Подход: Bootstrap (рекомендуется)

Риск: Heavy tail + правый скос