Друзья, привет! Константин на связи. Сегодня у меня к вам вопрос (см. ниже). Расшифровку правильного ответа и следующий вопрос опубликуем завтра ;).
Марисса Мейер, ex. Google employee #20 и “The keeper of Google’s homepage” известна своим дата-дривен мышлением. Однажды она протестировала 41 оттенок голубого, чтобы подобрать оптимальный для конверсии цвет.
Мы не знаем какой именно сетап экспериментов использовала Марисса, но при таком количестве вариантов в а/б тестировании неизбежно возрастает угроза получения “ложно-положительных” результатов.
Если мы используем уровень стат. значимости в 90% (довольно стандартный при тестировании цифровых продуктов), то попробуйте угадать какова вероятность ложно-положительного результата, в эксперименте с 41 вариантом цвета?
*для совсем въедлевых, тут имеется ввиду использование “поправки Бонферрони для множественного тестирования”.
Марисса Мейер, ex. Google employee #20 и “The keeper of Google’s homepage” известна своим дата-дривен мышлением. Однажды она протестировала 41 оттенок голубого, чтобы подобрать оптимальный для конверсии цвет.
Мы не знаем какой именно сетап экспериментов использовала Марисса, но при таком количестве вариантов в а/б тестировании неизбежно возрастает угроза получения “ложно-положительных” результатов.
Если мы используем уровень стат. значимости в 90% (довольно стандартный при тестировании цифровых продуктов), то попробуйте угадать какова вероятность ложно-положительного результата, в эксперименте с 41 вариантом цвета?
*для совсем въедлевых, тут имеется ввиду использование “поправки Бонферрони для множественного тестирования”.