Ошибки в проведении A/B-тестов: фликеры
В процессе проведения А/B тестирования иногда можно столкнуться с так называемыми "фликерами". Фликеры – пользователи, которые по некоторой причине, зачастую технической, участвовали одновременно и в контрольной и тестовой группах.
Эта ошибка может серьезно исказить результаты эксперимента и привести к неверным выводам. Это обусловлено тем, что фликеры зачастую ведут себя кардинально иначе, чем обычные пользователи, и вносят шум в данные.
Фликеры могут возникать, к примеру, при протухании куки на вебе или использовании разных браузеров – при условии, что мы знаем, что это один и тот же пользователь, но он явно не авторизован. Или при переустановке мобильного приложения, а также установке его тем же пользователем на новое устройство, при том же условии. Или при «моргании» страницы, при котором пользователь ненадолго видит её контрольную версию, а затем – тестовую.
Зачастую, избежать фликеров в полной мере не всегда возможно. Поэтому проверка наличия таких пользователей в выборках является обязательным этапом оценки данных. Если они обнаружены, их следует исключить из анализа. Или обработать логичным с точки зрения бизнеса и конкретной ситуации способом.
#абтесты
В процессе проведения А/B тестирования иногда можно столкнуться с так называемыми "фликерами". Фликеры – пользователи, которые по некоторой причине, зачастую технической, участвовали одновременно и в контрольной и тестовой группах.
Эта ошибка может серьезно исказить результаты эксперимента и привести к неверным выводам. Это обусловлено тем, что фликеры зачастую ведут себя кардинально иначе, чем обычные пользователи, и вносят шум в данные.
Фликеры могут возникать, к примеру, при протухании куки на вебе или использовании разных браузеров – при условии, что мы знаем, что это один и тот же пользователь, но он явно не авторизован. Или при переустановке мобильного приложения, а также установке его тем же пользователем на новое устройство, при том же условии. Или при «моргании» страницы, при котором пользователь ненадолго видит её контрольную версию, а затем – тестовую.
Зачастую, избежать фликеров в полной мере не всегда возможно. Поэтому проверка наличия таких пользователей в выборках является обязательным этапом оценки данных. Если они обнаружены, их следует исключить из анализа. Или обработать логичным с точки зрения бизнеса и конкретной ситуации способом.
#абтесты