Всем привет! На связи Андрей. У меня сейчас очень важный эксперимент показывает положительные результаты и я полон приятного предвкушения.
Это хороший момент, чтобы проговорить одну тему связанную с A/B тестированием. Часто говорят, что у A/B тестов есть проблема подглядывания (peeking problem). Но мне кажется, что этот термин категорически неверный.
Продакт менеджер может (и должен!) смотреть на результаты своего эксперимента в течение всего его жизненного цикла. Я делаю это, как минимум каждый день, в рамках утренней рутины. И считаю, что это нормально.
На что я смотрю:
→ Опережающие сигналы. Да, целевая метрика эксперимента еще скорее всего не набрала статистической значимости, но вспомогательные метрики, как правило, гораздо чувствительнее, и могут на более ранних этапах показать, что что-то идет не так.
→ Красные флаги. Если я увижу изменение метрики (с высокой значимостью), на которую моя гипотеза вообще влиять не должна, то я на стендапе попрошу команду разобраться, что происходит.
→ Проактивно коммуницирую со стейкхолдерами, если вижу что эксперимент идет к успеху и влияет на важных для них метрики, чтобы потом, когда придет время раскатывать эксперимент, все уже были в курсе.
→ Прогноз результата. Эксперимент длится в среднем две недели, а мне нужно планировать работу команды немного с опережением. Я не принимаю решение на неполных данных, но я делаю прогноз результата, и исходя из этого набираю следующий спринт, пока эксперимент еще идет. В худшем случае придется немного переиграть планы, но у нас же agile, чёрт возьми.
Единственное, чего делать категорически нельзя – это принимать окончательное решение на неполных данных (если вы не используете специальный метод sequential A/B testing). А смотреть на результаты и строить прогнозы – очень полезно. Потому что продакт – отвечает не только за анализ данных и принятие решений, но и за эффективное планирование работы команды.
Если вы активно работаете с экспериментами, напишите, пожалуйста, в комментах: используете ли вы прогноз результата при планировании работы или считаете, что это неправильно.
Это хороший момент, чтобы проговорить одну тему связанную с A/B тестированием. Часто говорят, что у A/B тестов есть проблема подглядывания (peeking problem). Но мне кажется, что этот термин категорически неверный.
Продакт менеджер может (и должен!) смотреть на результаты своего эксперимента в течение всего его жизненного цикла. Я делаю это, как минимум каждый день, в рамках утренней рутины. И считаю, что это нормально.
На что я смотрю:
→ Опережающие сигналы. Да, целевая метрика эксперимента еще скорее всего не набрала статистической значимости, но вспомогательные метрики, как правило, гораздо чувствительнее, и могут на более ранних этапах показать, что что-то идет не так.
→ Красные флаги. Если я увижу изменение метрики (с высокой значимостью), на которую моя гипотеза вообще влиять не должна, то я на стендапе попрошу команду разобраться, что происходит.
→ Проактивно коммуницирую со стейкхолдерами, если вижу что эксперимент идет к успеху и влияет на важных для них метрики, чтобы потом, когда придет время раскатывать эксперимент, все уже были в курсе.
→ Прогноз результата. Эксперимент длится в среднем две недели, а мне нужно планировать работу команды немного с опережением. Я не принимаю решение на неполных данных, но я делаю прогноз результата, и исходя из этого набираю следующий спринт, пока эксперимент еще идет. В худшем случае придется немного переиграть планы, но у нас же agile, чёрт возьми.
Единственное, чего делать категорически нельзя – это принимать окончательное решение на неполных данных (если вы не используете специальный метод sequential A/B testing). А смотреть на результаты и строить прогнозы – очень полезно. Потому что продакт – отвечает не только за анализ данных и принятие решений, но и за эффективное планирование работы команды.
Если вы активно работаете с экспериментами, напишите, пожалуйста, в комментах: используете ли вы прогноз результата при планировании работы или считаете, что это неправильно.