Разбор задачи из тестового задания в одну онлайн-доску
Задача была опубликована уже больше недели назад. К моему удивлению, с того момента в комментариях не появилось ни единого решения. Давайте с ней разбираться
Сначала определим продолжительность эксперимента. Текущая конверсия из просмотра экрана в клик по CTA: 800 / 16 000 = 0,05 (5%). Предположим, что мы ожидаем её рост на 1 процентный пункт (c 5% до 6%), с мощностью 80% и p-value 0,05.
Дальше вопрос к неравным размерам контрольной и тестовой групп. Выделение 80% для контрольной группы приведёт к снижению мощности, к большему необходимому размеру выборки и повышенным рискам.
Пусть мы все же хотим 80% пользователей отдать на контрольную группу. На основе анализа мощности установим, что нам нужно 20 000 пользователей, чтобы набрать желаемую мощность. Это 20 000 / 16 000 = 1.25 месяца (примерно 38 дней).
Теперь оценим влияние на MRR. Предположим, что изменив CTA, мы не повлияли на конверсию из клика в платный аккаунт: её конверсия осталась равна 500 / 800 = 0,625. В таком случае, мы можем посчитать количество новых платных аккаунтов: (800 / 0.05 * 0.01) * 0.625 = 160 (новых кликов) * 0.625 = 100. Т. к. ARPA = $50, получим потенциальное увеличение MMR на 100 * $50 = $5000 (+20%).
Покроет ли рост выручки издержки на разработку и альтернативные провальные гипотезы – вопрос остается открытым.
Мне нравится эта задача тем, что в ней много моментов, за которые можно зацепиться и обсудить.
Ну что, запустили бы эксперимент?)
Задача была опубликована уже больше недели назад. К моему удивлению, с того момента в комментариях не появилось ни единого решения. Давайте с ней разбираться
Дальше вопрос к неравным размерам контрольной и тестовой групп. Выделение 80% для контрольной группы приведёт к снижению мощности, к большему необходимому размеру выборки и повышенным рискам.
Пусть мы все же хотим 80% пользователей отдать на контрольную группу. На основе анализа мощности установим, что нам нужно 20 000 пользователей, чтобы набрать желаемую мощность. Это 20 000 / 16 000 = 1.25 месяца (примерно 38 дней).
Теперь оценим влияние на MRR.
Покроет ли рост выручки издержки
Мне нравится эта задача тем, что в ней много моментов, за которые можно зацепиться и обсудить.
Ну что, запустили бы эксперимент?)