Критерии статистической значимости: критерий Манна-Уитни
Критерий Манн-Уитни (Mann–Whitney U test) проверяет равенство распределений. Он не сравнивает средние или медианы, как многие ошибочно предполагают. Он лишь учитывает расположение элементов выборок относительно друг друга и не берет в расчет абсолютные значения их элементов.
На этом пост можно было бы завершить. Но давайте разберемся, почему вам стоит с осторожностью использовать этот критерий в своей работе.
Критерий так «популярен» из-за 2 мифов:
♦️ Если в данных много выбросов – t-test использовать нельзя. В таком случае нужно переходить к его непараметрическому аналогу Манна-Уитни, который более устойчив к выбросам.
♦️ Если распределение отлично от нормального (выборка перекошена) – параметрический t-test использовать нельзя. Вновь можно попасться в ловушку и применить Манна-Уитни.
Ошибкой здесь будет то, что критерий Манна-Уитни с бОльшей вероятностью даст статистически значимый эффект на той же выборке. Но, в сравнении с тем же t-тестом, процент ложноположительных срабатываний (ошибок I рода) у него будет значительно выше.
Но ведь гораздо сложнее принять факт, что эксперимент не дал стат. значимого изменения. Куда приятнее поверить Манна-Уитни и тому, что эффект на самом деле есть. Это и делает его таким популярным среди аналитиков.
Обычно, я пишу что-то вроде «используйте этот инструмент в свой работе». Но сегодня скажу иначе – будьте внимательны при использовании этого инструмента. Возможно, для вашей задачи нужны альтернативные и более подходящие критерии для проверки статистической значимости. Какие? Узнаете в следующих постах.
#абтесты #статкритерии
Критерий Манн-Уитни (Mann–Whitney U test) проверяет равенство распределений. Он не сравнивает средние или медианы, как многие ошибочно предполагают. Он лишь учитывает расположение элементов выборок относительно друг друга и не берет в расчет абсолютные значения их элементов.
На этом пост можно было бы завершить. Но давайте разберемся, почему вам стоит с осторожностью использовать этот критерий в своей работе.
Критерий так «популярен» из-за 2 мифов:
♦️ Если в данных много выбросов – t-test использовать нельзя. В таком случае нужно переходить к его непараметрическому аналогу Манна-Уитни, который более устойчив к выбросам.
♦️ Если распределение отлично от нормального (выборка перекошена) – параметрический t-test использовать нельзя. Вновь можно попасться в ловушку и применить Манна-Уитни.
Ошибкой здесь будет то, что критерий Манна-Уитни с бОльшей вероятностью даст статистически значимый эффект на той же выборке. Но, в сравнении с тем же t-тестом, процент ложноположительных срабатываний (ошибок I рода) у него будет значительно выше.
Но ведь гораздо сложнее принять факт, что эксперимент не дал стат. значимого изменения. Куда приятнее поверить Манна-Уитни и тому, что эффект на самом деле есть. Это и делает его таким популярным среди аналитиков.
Обычно, я пишу что-то вроде «используйте этот инструмент в свой работе». Но сегодня скажу иначе – будьте внимательны при использовании этого инструмента. Возможно, для вашей задачи нужны альтернативные и более подходящие критерии для проверки статистической значимости. Какие? Узнаете в следующих постах.
#абтесты #статкритерии