Привет, на связи Андрей и сегодня я хочу поделиться производственной драмой.
Сегодня утром я завершал эксперимент. Эксперимент успешный, целевая метрика зеленая, как кактус, p_value = 0.001, кто понимает. Короче, полный успех, команда открывает шампанское.
У меня в чек-листе есть пункт: перед завершением удачного эксперимента пробежаться по всей аналитике, чтобы посмотреть, нет ли там каких-то полезных дополнительных инсайтов. Может я там вдохновление для следующего эксперимента найду.
Первая же сегментация по платформе устройства приносит мне неприятный сюрприз: весь положительный эффект моего эксперимента достигается чисто за счет iOS устройств, а если построить результаты чисто по Android пользователям, то даже нет значимого улучшения.
И дело даже не в том, что это означает, что эффект слабее чем он мог бы быть. Самое неприятное, что у меня совершенно нет идей, почему так. То есть я теперь даже не уверен, что моя гипотеза верна: она не объясняет это наблюдение.
Приглашаю вас побрейнстормить вместе со мной:
Как вы думаете, какие у пользователей Android устройств есть поведенческие особенности? Какие у вас в голове есть стереотипы о том, чем продукт для Android должен отличаться от iOS?
Сегодня утром я завершал эксперимент. Эксперимент успешный, целевая метрика зеленая, как кактус, p_value = 0.001, кто понимает. Короче, полный успех, команда открывает шампанское.
У меня в чек-листе есть пункт: перед завершением удачного эксперимента пробежаться по всей аналитике, чтобы посмотреть, нет ли там каких-то полезных дополнительных инсайтов. Может я там вдохновление для следующего эксперимента найду.
Первая же сегментация по платформе устройства приносит мне неприятный сюрприз: весь положительный эффект моего эксперимента достигается чисто за счет iOS устройств, а если построить результаты чисто по Android пользователям, то даже нет значимого улучшения.
И дело даже не в том, что это означает, что эффект слабее чем он мог бы быть. Самое неприятное, что у меня совершенно нет идей, почему так. То есть я теперь даже не уверен, что моя гипотеза верна: она не объясняет это наблюдение.
Приглашаю вас побрейнстормить вместе со мной:
Как вы думаете, какие у пользователей Android устройств есть поведенческие особенности? Какие у вас в голове есть стереотипы о том, чем продукт для Android должен отличаться от iOS?