4 подхода как на самом деле оценивается MDE для АБ-тестов
Когда на курсах рассказывают про MDE (Minimum Detectable Effect), в большинстве говорят о размерах выборки, статистической значимости, мощности и т. д. Это несомненно важные параметры для определения MDE. Но они имеют мало общего с реальностью. Вот несколько подходов, которые на самом деле используются для оценки MDE:
● MDE как инвестиция
90% AB-тестов не дают положительного влияния на метрики. А теперь представьте, что у вас есть 10 гипотез, и только одной из них суждено быть прибыльной. В этом контексте эксперименты выступают в качестве инвестиций. Одна успешная гипотеза должна окупить затраты на проверку всех 10, а также принести прибыль компании.
● MDE как заданный темп роста
Если вашей целью является стремительный рост, то MDE должна соответствовать этим амбициям. Если вы стремитесь к увеличению метрики на 5% за каждое успешное изменение, нет смысла ждать значимости эффекта в 0.5%. Целесообразнее двигаться к проверке следующей гипотезы, которая с большой вероятностью приведет к более крупной победе.
● MDE как пробитие дисперсии
Шумность (дисперсия) метрики может сделать тест нецелесообразным. Если метрика шумная, то и MDE должен быть большим. То, к чему мы стремимся – это эффект, который значимо поднимет метрику на значение большее, чем ее дисперсия. Если подобное изменение оценивается как недостижимое – стоит также подумать над вводными.
● MDE как проверка здоровья...
... в ограниченные сроки и с ограниченной выборкой. Бывает такое, что время и/или выборка по каким-либо причинам ограничены. В таком случае можно оттолкнуться от этих вводных для определения MDE. Если MDE в таком случае будет оценено как приемлемое – можно остановиться на нем. Если нет – стоит подумать над изменением вводных.
А какие способы оценки MDE используете вы? Поделитесь своим опытом в комментариях!
Когда на курсах рассказывают про MDE (Minimum Detectable Effect), в большинстве говорят о размерах выборки, статистической значимости, мощности и т. д. Это несомненно важные параметры для определения MDE. Но они имеют мало общего с реальностью. Вот несколько подходов, которые на самом деле используются для оценки MDE:
● MDE как инвестиция
90% AB-тестов не дают положительного влияния на метрики. А теперь представьте, что у вас есть 10 гипотез, и только одной из них суждено быть прибыльной. В этом контексте эксперименты выступают в качестве инвестиций. Одна успешная гипотеза должна окупить затраты на проверку всех 10, а также принести прибыль компании.
● MDE как заданный темп роста
Если вашей целью является стремительный рост, то MDE должна соответствовать этим амбициям. Если вы стремитесь к увеличению метрики на 5% за каждое успешное изменение, нет смысла ждать значимости эффекта в 0.5%. Целесообразнее двигаться к проверке следующей гипотезы, которая с большой вероятностью приведет к более крупной победе.
● MDE как пробитие дисперсии
Шумность (дисперсия) метрики может сделать тест нецелесообразным. Если метрика шумная, то и MDE должен быть большим. То, к чему мы стремимся – это эффект, который значимо поднимет метрику на значение большее, чем ее дисперсия. Если подобное изменение оценивается как недостижимое – стоит также подумать над вводными.
● MDE как проверка здоровья...
... в ограниченные сроки и с ограниченной выборкой. Бывает такое, что время и/или выборка по каким-либо причинам ограничены. В таком случае можно оттолкнуться от этих вводных для определения MDE. Если MDE в таком случае будет оценено как приемлемое – можно остановиться на нем. Если нет – стоит подумать над изменением вводных.
А какие способы оценки MDE используете вы? Поделитесь своим опытом в комментариях!