Привет, Владимир на связи.
За время в Букинге мне удалось поработать над тремя совершенно разными проектами (примерно по 2-3 года на каждом). В моей текущей роли навыки А/Б тестирования крайне необходимы. Мы делаем Connected Trip (кстати, сейчас я ищу в команду Sr. Tech PM), и это – непаханое поле. Дело в том, что в реальной жизни путешествие уже “connected”. Мысли об отпуске перетекают в поиск перелетов, отелей, аренды машин, музеев и так далее. А в цифровом мире это пока еще лоскутное одеяло не связанных продуктов. А это - product opportunity.
С одной стороны, это очень интересная задача для продакта. С другой – сотни продуктовых гипотез. Как понять, что двигает нас к цели, а что нет?
Мы проверяем все гипотезы с помощью A/B экспериментов. Даже если фичу предложил директор, если тест не покажет значимого роста целевой метрики – фича полетит в корзину. И, наоборот, если гипотеза подтвердилась – мы будем уверенно копать вглубь.
Когда-то я думал, что “понимаю” А/Б тесты. И действительно, я знал концепцию: делим трафик пополам, одной половине синюютаблетку кнопку, второй половине - красную. На практике я сыпался на первом же сложном вопросе: кнопки-то перекрасили, но какую целевую метрику выбрать - клики? Или конверсию? Или retention? А когда можно принимать решение? Через неделю? Или через 3 дня?
А если две метрики покрасились в зеленый, а две другие – в красный, это хорошо или не очень? А если пока я редактировал кнопку, кто-то изменил стили всей страницы и тоже в своем A/B тесте? В общем, знать про полезность спорта – далеко не то же самое, что ходить в спортзал.
К счастью, мне повезло знать Андрея Менде, а он один из самый крутых спецов по А/Б тестированию, да еще и умеющий объяснять очень сложные вещи (статистика - не пирожки) простым языком. У него уже давно были наброски по симулятору А/Б тестирования, который он делал для одной большой компании. Неделя скрипа мозга, и вот я уже понимаю, что к чему, и начинаю набивать руку в научном подходе к развитию продукта.
Стоит ли упоминать, что все вакансии продактов Booking. com (да и примерно всех остальных более-менее серьезных IT-компаний) содержат строчку про “Has proven experience validating hypotesises via A/B tests”.
Лови момент, Андрей вместе с Костей (PM of Data platform @ Flo) сделали крутейший практический симулятор, который покрывают все аспекты этой науки. И даже в виде исключения проведут несколько практических воркшопов на ближайшем потоке. Старт 8 марта. Еще два дня (сегодня и завтра) для подписчиков этого канала действует ранняя цена45000,00 руб 35000,00 руб / 609,00€ 469,00€. С 23 февраля купить можно будет уже без скидки. Записывайся и оплачивай тут! Не откладывай на завтра ;).
За время в Букинге мне удалось поработать над тремя совершенно разными проектами (примерно по 2-3 года на каждом). В моей текущей роли навыки А/Б тестирования крайне необходимы. Мы делаем Connected Trip (кстати, сейчас я ищу в команду Sr. Tech PM), и это – непаханое поле. Дело в том, что в реальной жизни путешествие уже “connected”. Мысли об отпуске перетекают в поиск перелетов, отелей, аренды машин, музеев и так далее. А в цифровом мире это пока еще лоскутное одеяло не связанных продуктов. А это - product opportunity.
С одной стороны, это очень интересная задача для продакта. С другой – сотни продуктовых гипотез. Как понять, что двигает нас к цели, а что нет?
Мы проверяем все гипотезы с помощью A/B экспериментов. Даже если фичу предложил директор, если тест не покажет значимого роста целевой метрики – фича полетит в корзину. И, наоборот, если гипотеза подтвердилась – мы будем уверенно копать вглубь.
Когда-то я думал, что “понимаю” А/Б тесты. И действительно, я знал концепцию: делим трафик пополам, одной половине синюю
А если две метрики покрасились в зеленый, а две другие – в красный, это хорошо или не очень? А если пока я редактировал кнопку, кто-то изменил стили всей страницы и тоже в своем A/B тесте? В общем, знать про полезность спорта – далеко не то же самое, что ходить в спортзал.
К счастью, мне повезло знать Андрея Менде, а он один из самый крутых спецов по А/Б тестированию, да еще и умеющий объяснять очень сложные вещи (статистика - не пирожки) простым языком. У него уже давно были наброски по симулятору А/Б тестирования, который он делал для одной большой компании. Неделя скрипа мозга, и вот я уже понимаю, что к чему, и начинаю набивать руку в научном подходе к развитию продукта.
Стоит ли упоминать, что все вакансии продактов Booking. com (да и примерно всех остальных более-менее серьезных IT-компаний) содержат строчку про “Has proven experience validating hypotesises via A/B tests”.
Лови момент, Андрей вместе с Костей (PM of Data platform @ Flo) сделали крутейший практический симулятор, который покрывают все аспекты этой науки. И даже в виде исключения проведут несколько практических воркшопов на ближайшем потоке. Старт 8 марта. Еще два дня (сегодня и завтра) для подписчиков этого канала действует ранняя цена