Инструмент для A/B теста
Частая проблема с тестами заключается в том, какой объем выборки взять для теста. Хотим кнопку потестировать зеленую и красную, понять на какую больше жмут.
Заделаем A/B тест. Покажем одним одного цвета, другим - другого. Но скольким пользователям нужно показать, чтобы остановить тест и сказать, что да, вот этот вариант лучше?
Есть классный онлайн инструмент http://www.evanmiller.org/ab-testing/sample-size.html
1. Вводите существующий уровень уровень конверсии. В случае с кнопкой CTR.
2. Минимально значимое изменение, которое нас интересует. На сколько мы хотели бы изменить базовый показатель конверсии.
3. Выбираете значение: absolute (абсолютный) или relative (относительный). Выбирайте то значение, которое хотите получить. Если у вас baseline уровень конверсий равен 30% (как в примере с картинки) и вы хотите повысить его на 5% с помощью ab тестов, то выбирайте “relative”. То есть, финальный результат изменения в случае успешности эксперимента будет 5% от 30%, то есть 31,5%.
4. Статистическая мощность. На сколько точный эксперимент мы хотим провести.
5. Погрешность p-value. Какую вероятность ошибки допускаем.
6. Высвечивается кол-во пользователей, которым нужно показать один из вариантов.
Инструмент довольно простой и чертовски полезный. Ввели свои значения и сразу видыется размер выборки под тест.
Подробно разобрал этот инструмени и A/B тесты в этой статье: http://www.alexcouncil.com/ab-test/
#инструментыпродакта
Частая проблема с тестами заключается в том, какой объем выборки взять для теста. Хотим кнопку потестировать зеленую и красную, понять на какую больше жмут.
Заделаем A/B тест. Покажем одним одного цвета, другим - другого. Но скольким пользователям нужно показать, чтобы остановить тест и сказать, что да, вот этот вариант лучше?
Есть классный онлайн инструмент http://www.evanmiller.org/ab-testing/sample-size.html
1. Вводите существующий уровень уровень конверсии. В случае с кнопкой CTR.
2. Минимально значимое изменение, которое нас интересует. На сколько мы хотели бы изменить базовый показатель конверсии.
3. Выбираете значение: absolute (абсолютный) или relative (относительный). Выбирайте то значение, которое хотите получить. Если у вас baseline уровень конверсий равен 30% (как в примере с картинки) и вы хотите повысить его на 5% с помощью ab тестов, то выбирайте “relative”. То есть, финальный результат изменения в случае успешности эксперимента будет 5% от 30%, то есть 31,5%.
4. Статистическая мощность. На сколько точный эксперимент мы хотим провести.
5. Погрешность p-value. Какую вероятность ошибки допускаем.
6. Высвечивается кол-во пользователей, которым нужно показать один из вариантов.
Инструмент довольно простой и чертовски полезный. Ввели свои значения и сразу видыется размер выборки под тест.
Подробно разобрал этот инструмени и A/B тесты в этой статье: http://www.alexcouncil.com/ab-test/
#инструментыпродакта