Добрый день, друзья! Давайте начнем неделю с рубрики «Вопросы с собеседований».
🎉 Сегодня выделим несколько вопросов про АБ тесты и обсудим, как можно на них ответить. Конечно же, дополняйте ответы в комментариях, обязательно делитесь вопросами про АБ, которые попадались Вам! Начинаем.
💡 Какие вы знаете способы применения АБ тестирования?
✅ Первое, когда хотим проверить полезность нового внедрения. Возможно, мы изменили дизайн сайта (раскрасили и переместили кнопки) и хотим проверить, станут ли покупатели активнее покупать товары на нашем сайте. Или мы можем выпустить новую модель системы построения рекомендаций, АБ тест поможет понять стали ли рекомендации нравится пользователям больше (чаще ли стали смотреть видео, как пример). Второе, для исследования зависимостей. Обычно в таких случаях проводят «ухудшающие эксперименты»: раскрашиваем кнопку «купить» в черный цвет или специально отдаем рекомендации популярных видео без персонализации, так мы можем понять какие элементы в большей степени (а какие в меньшей) влияют на главную метрику.
💡Как понять, хорошо ли мы разбили пользователей на группы А и Б хорошо? Как понять, что разбиение плохое? ✅ Провести АА тест. Перед тем, как одной группе (А) пользователей показать старую версию рекомендаций, а другой группе (Б) – новые рекомендации, проводят так называемый АА тест: для каждой из групп показываем одни и те же рекомендации. Если изменений в метриках нет (или они совсем незначительные), то разбиение на группы корректное. Если же наоборот (изменения в метриках значимые), то разбиение плохое.
💡Какие могут возникнуть сложности при разбиении пользователей по выборкам?
✅ Можно разбить пользователей на группы А и Б в соотношении 50 на 50 и потерять много прибыли из-за того, что новое внедрение было не улучшающим (как мы представляли), а ухудшающим. Стоит брать размер выборки с учетом доверительного интервала. Также может быть проблема с делением пользователей на группы при неконтролируемом общении пользователей между собой: например, если мы меняем цвет кнопки на сайте покупки билетов, то пользователь, даже если заметит это изменение, вряд ли расскажет об этому своим друзьям, коллегам и т.д. А вот если мы изменим цену на стаканчик кофе в известном приложении, то может возникнуть ситуация, когда у близких друзей будет разная цена… Это плохо, так как группы А и Б должны быть независимы между собой.
🎉 Сегодня выделим несколько вопросов про АБ тесты и обсудим, как можно на них ответить. Конечно же, дополняйте ответы в комментариях, обязательно делитесь вопросами про АБ, которые попадались Вам! Начинаем.
💡 Какие вы знаете способы применения АБ тестирования?
✅ Первое, когда хотим проверить полезность нового внедрения. Возможно, мы изменили дизайн сайта (раскрасили и переместили кнопки) и хотим проверить, станут ли покупатели активнее покупать товары на нашем сайте. Или мы можем выпустить новую модель системы построения рекомендаций, АБ тест поможет понять стали ли рекомендации нравится пользователям больше (чаще ли стали смотреть видео, как пример). Второе, для исследования зависимостей. Обычно в таких случаях проводят «ухудшающие эксперименты»: раскрашиваем кнопку «купить» в черный цвет или специально отдаем рекомендации популярных видео без персонализации, так мы можем понять какие элементы в большей степени (а какие в меньшей) влияют на главную метрику.
💡Как понять, хорошо ли мы разбили пользователей на группы А и Б хорошо? Как понять, что разбиение плохое? ✅ Провести АА тест. Перед тем, как одной группе (А) пользователей показать старую версию рекомендаций, а другой группе (Б) – новые рекомендации, проводят так называемый АА тест: для каждой из групп показываем одни и те же рекомендации. Если изменений в метриках нет (или они совсем незначительные), то разбиение на группы корректное. Если же наоборот (изменения в метриках значимые), то разбиение плохое.
💡Какие могут возникнуть сложности при разбиении пользователей по выборкам?
✅ Можно разбить пользователей на группы А и Б в соотношении 50 на 50 и потерять много прибыли из-за того, что новое внедрение было не улучшающим (как мы представляли), а ухудшающим. Стоит брать размер выборки с учетом доверительного интервала. Также может быть проблема с делением пользователей на группы при неконтролируемом общении пользователей между собой: например, если мы меняем цвет кнопки на сайте покупки билетов, то пользователь, даже если заметит это изменение, вряд ли расскажет об этому своим друзьям, коллегам и т.д. А вот если мы изменим цену на стаканчик кофе в известном приложении, то может возникнуть ситуация, когда у близких друзей будет разная цена… Это плохо, так как группы А и Б должны быть независимы между собой.