Ошибки в проведении A/B-тестов: проблема подглядывания
Проблема подглядывания заключается в принятии решения по эксперименту раньше, чем наберется необходимая выборка. В результате таких решений возрастает вероятность ошибки первого рода. Как следствие, бизнес принимает больше неверных решений.
Об этой проблеме знают и говорят многие. Тем не менее, я часто сталкиваюсь с подобной проблемой при работе даже с опытными менеджерами и C-level’ом. Симптомы зачастую типичные:
🔹 «Прокрасилась, не будем ждать, раскатываем!»
🔹 «Не прокрашивается, зачем ждать, проверяем следующую гипотезу!»
🔹 «Почему эти метрики прокрашиваются, если логически не должны были? И что что выборка не набралась?»
Мотивы руководства можно понять: чем быстрее принимаем решения – тем потенциально больше можем заработать или меньше потерять. Но при несоблюдении методологии проведения а/б тестов выходит ровно наоборот.
В таких случаях, как опытному специалисту, вам следует прояснить руководству риски такого подхода. В своем обосновании обязательно опирайтесь не только на сухую методологию, но и факты из предыдущего опыта проведения экспериментов в компании.
А как вы боретесь с проблемой подглядывания у руководства? Поделитесь в комментариях.
#абтесты
Проблема подглядывания заключается в принятии решения по эксперименту раньше, чем наберется необходимая выборка. В результате таких решений возрастает вероятность ошибки первого рода. Как следствие, бизнес принимает больше неверных решений.
Об этой проблеме знают и говорят многие. Тем не менее, я часто сталкиваюсь с подобной проблемой при работе даже с опытными менеджерами и C-level’ом. Симптомы зачастую типичные:
🔹 «Прокрасилась, не будем ждать, раскатываем!»
🔹 «Не прокрашивается, зачем ждать, проверяем следующую гипотезу!»
🔹 «Почему эти метрики прокрашиваются, если логически не должны были? И что что выборка не набралась?»
Мотивы руководства можно понять: чем быстрее принимаем решения – тем потенциально больше можем заработать или меньше потерять. Но при несоблюдении методологии проведения а/б тестов выходит ровно наоборот.
В таких случаях, как опытному специалисту, вам следует прояснить руководству риски такого подхода. В своем обосновании обязательно опирайтесь не только на сухую методологию, но и факты из предыдущего опыта проведения экспериментов в компании.
А как вы боретесь с проблемой подглядывания у руководства? Поделитесь в комментариях.
#абтесты