Что такое ошибка первого и второго рода, а также зачем они нужны
В прошлом посте я рассказывал, как не путать ошибку I и II рода, но ничего не сказал о самих ошибках. Исправляюсь.
Продуктовая гипотеза – это предположение о том, как изменится продукт в зависимости от наших действий. Такие предположения можно и нужно проверять.
♦️ То, что мы хотим опровергнуть, если стоит задача доказать значимость изменений, называют нулевой гипотезой. Ее обозначают как H0.
♦️ То, что мы хотим доказать, называют альтернативной гипотезой и обозначают H1.
Например, H0 – изменение цвета кнопки не влияет на нажимающую на неё долю пользователей. H1 – если изменить цвет кнопки с текущего на зеленый, то доля нажатий вырастет относительно на 3%, поскольку кнопка станет визуально привлекательнее для глаз.
В результате проверки нулевая гипотеза либо принимается, либо отвергается в пользу альтернативной. При этом есть риск допустить ошибку двух типов:
🔸 Ошибка I рода – гипотеза H0 будет отвергнута, хотя она правильная. Т. е. изменение цвета на зеленый на самом деле не влияет на нажатия, но по данным мы видим изменение. Вероятность допустить такую ошибку называют уровнем значимости и обозначают буквой α («альфа»).
🔸 Ошибка II рода – гипотеза будет принята, но на самом деле она неправильная. Т. е. изменение цвета на зеленый на самом деле влияет на нажатия, но по данным мы этого не зафиксировали. Вероятность совершить эту ошибку обозначают буквой β («бета»). Значение 1-β называют мощностью критерия – вероятностью отвержения неправильной гипотезы.
Чем α и β меньше, тем лучше. Но, при прочих равных условиях, уменьшение α приводит к увеличению β, и наоборот. Поэтому перед человеком, проверяющим гипотезы, стоит задача подобрать соотношение вероятностей α и β с учетом тяжести последствий, которые повлекут за собой та и другая ошибка.
В тестировании продуктовых гипотез зачастую выбирают α = 0.05 и β = 0.2.
Но для наглядности необходимости их подбора, приведу пример из медицины.
Если человек болен смертельной болезнью, то ошибка I рода может стать для него фатальной. А если болезнь не «мешает жить», а лечение нанесет вред здоровому организму, то более тяжёлые последствия может повлечь ошибка II рода. В зависимости от ситуации, можно подобрать оптимальные α и β.
Хотели бы вы что-то дополнить? Или узнать подробнее об ошибках I и II рода?
В прошлом посте я рассказывал, как не путать ошибку I и II рода, но ничего не сказал о самих ошибках. Исправляюсь.
Продуктовая гипотеза – это предположение о том, как изменится продукт в зависимости от наших действий. Такие предположения можно и нужно проверять.
♦️ То, что мы хотим опровергнуть, если стоит задача доказать значимость изменений, называют нулевой гипотезой. Ее обозначают как H0.
♦️ То, что мы хотим доказать, называют альтернативной гипотезой и обозначают H1.
Например, H0 – изменение цвета кнопки не влияет на нажимающую на неё долю пользователей. H1 – если изменить цвет кнопки с текущего на зеленый, то доля нажатий вырастет относительно на 3%, поскольку кнопка станет визуально привлекательнее для глаз.
В результате проверки нулевая гипотеза либо принимается, либо отвергается в пользу альтернативной. При этом есть риск допустить ошибку двух типов:
🔸 Ошибка I рода – гипотеза H0 будет отвергнута, хотя она правильная. Т. е. изменение цвета на зеленый на самом деле не влияет на нажатия, но по данным мы видим изменение. Вероятность допустить такую ошибку называют уровнем значимости и обозначают буквой α («альфа»).
🔸 Ошибка II рода – гипотеза будет принята, но на самом деле она неправильная. Т. е. изменение цвета на зеленый на самом деле влияет на нажатия, но по данным мы этого не зафиксировали. Вероятность совершить эту ошибку обозначают буквой β («бета»). Значение 1-β называют мощностью критерия – вероятностью отвержения неправильной гипотезы.
Чем α и β меньше, тем лучше. Но, при прочих равных условиях, уменьшение α приводит к увеличению β, и наоборот. Поэтому перед человеком, проверяющим гипотезы, стоит задача подобрать соотношение вероятностей α и β с учетом тяжести последствий, которые повлекут за собой та и другая ошибка.
В тестировании продуктовых гипотез зачастую выбирают α = 0.05 и β = 0.2.
Но для наглядности необходимости их подбора, приведу пример из медицины.
Если человек болен смертельной болезнью, то ошибка I рода может стать для него фатальной. А если болезнь не «мешает жить», а лечение нанесет вред здоровому организму, то более тяжёлые последствия может повлечь ошибка II рода. В зависимости от ситуации, можно подобрать оптимальные α и β.
Хотели бы вы что-то дополнить? Или узнать подробнее об ошибках I и II рода?