Привет, Владимир на связи. Если вы сейчас упали со стула от смеха, то вы понимаете А/Б тестирование и довольно неинтуитивную концепцию p-value. Сложную статистическую теорию проще объяснить на примере. Представьте, что вы заходите в автобус и там большинство людей ростом выше 2 метров. Это просто случайное совпадение или рядом проходит чемпионат по баскетболу?
Статистики достают из кармана формулу и, зная распределение роста по стране, считают... p-value. Эта величина показывает какова вероятность того, что такая ситуация могла сложиться чисто за счет случайности. Например, с баскетболистами получилось 0.03. Далее, поправив очки, статистик заключает: "С вероятностью 97% рост людей в автобусе не случаен, поэтому я принимаю гипотезу, что это команда баскетболистов". Статистик смог так сказать потому, что p-value оказалось ниже, чем 5% - стандартная граница для проверки гипотез (например, лучше ли новое лекарство или лучше ли новая система экзаменов). В IT продуктах, это, кстати чаще используется порог в 10% – там цена ошибки ниже.
Грустная шутка на картинке в том, что если бы у ученого p-value получилось бы не 0.03, а 0.051, то есть 5.1% - это было бы выше 5% – стандартной границы и эксперимент пришлось бы считать не значимым (то есть пришлось бы признать, что люди в автобусе могли чисто случайно так встретиться, новое лекарство не лучше старого и тд).
Так бывает и на работе с A/B тестами - они почти значимые, очень близко, но нет. Крутой продакт в этот момент поправляет воображаемые или нет очки и ищет новую гипотезу. Хотите понимать, как использовать статистику для улучшения продукта? Записывайтесь на следующий поток A/B курса, пока действует ранняя цена.
Статистики достают из кармана формулу и, зная распределение роста по стране, считают... p-value. Эта величина показывает какова вероятность того, что такая ситуация могла сложиться чисто за счет случайности. Например, с баскетболистами получилось 0.03. Далее, поправив очки, статистик заключает: "С вероятностью 97% рост людей в автобусе не случаен, поэтому я принимаю гипотезу, что это команда баскетболистов". Статистик смог так сказать потому, что p-value оказалось ниже, чем 5% - стандартная граница для проверки гипотез (например, лучше ли новое лекарство или лучше ли новая система экзаменов). В IT продуктах, это, кстати чаще используется порог в 10% – там цена ошибки ниже.
Грустная шутка на картинке в том, что если бы у ученого p-value получилось бы не 0.03, а 0.051, то есть 5.1% - это было бы выше 5% – стандартной границы и эксперимент пришлось бы считать не значимым (то есть пришлось бы признать, что люди в автобусе могли чисто случайно так встретиться, новое лекарство не лучше старого и тд).
Так бывает и на работе с A/B тестами - они почти значимые, очень близко, но нет. Крутой продакт в этот момент поправляет воображаемые или нет очки и ищет новую гипотезу. Хотите понимать, как использовать статистику для улучшения продукта? Записывайтесь на следующий поток A/B курса, пока действует ранняя цена.