Всем привет, Константин на связи!
Тема A/B тестирования покрыта большим количеством мифов, предрассудков и предубеждений. Часто это приводит к тому, что не только продакт менеджеры, но и разработчики, и даже некоторые аналитики проводят их неправильно. Тем самым основывают свои решения на абсолютно невалидных результатах.
Если вы решите окунуться в замечательный мир изучения статистики, которая является прародителем современных методик тестирования, вы заметите, что большое количество книг и статей написано либо врачами, либо преподавателями медицинских вузов для врачей. Это может показаться странным, но в реальности легко объяснимо.
По моему мнению, один из рассветов экспериментирования пришелся на то время, когда статистика стала использоваться для формирования доказательной медицины и современных клинических исследований. Мало кто знает, что есть такая научная отрасль как биостатистика, которая существует на стыке двух миров.
Многим известное понятие "плацебо" вводится для контроля ложно-положительных и ложно-отрицательных результатов, а не для того, чтобы доказать, что можно вылечить болезни за счет самовнушения. Еще меньшему количеству людей известно, что помимо "эффекта плацебо" есть "эффект ноцебо". Это когда человек, которому дали псевдо-лекарство, начинает испытывать побочные симптомы от лекарства, которое ему на самом деле не дали 🙃
Что меня в свое время поразило, так это то, что методики для расчета а/б тестов, которые мы используем иногда на миллионных выборках в сверхсложных системах, основаны на... методиках, придуманных еще в начале 20-го века или даже раньше. Поэтому многие неудобства или странности в широко используемых статистических методиках, как мне кажется, совершенно естественным образом вызваны двумя факторами:
- большой давностью изобретения этих механизмов и
- областями, в которых в 20-ом веке эти механизмы применялись.
Например, один из широко используемых методов предсказания наступления событий в будущем буквально называется "Анализ выживаемости" и название это имеет прямое отношение к расчету выживания пациентов. Но если под выживанием иметь ввиду, например, факт продления подписки или retention ваших пользователей, то методика оказывается применима не только для медицины.
Я считаю, что сейчас A/B тестирование находится на своем пике. Большинство трудностей применения статистики в современных продуктах вызвано как раз переносом методик из начала двадцатого века в область онлайн экспериментирования на тысячах и даже миллионах пользователей. Но за много лет использования экспериментирования в IT продуктах, мы не только научились на собственном горьком опыте, как избегать ошибок при использовании старых классических методов, но и использовать более современные методики тестирования, которые стали доступны относительно недавно.
Если ты тоже хочешь научиться правильно и эффективно проводить A/B тесты - записывайся на наш курс, который стартует в конце ноября. Для первых десяти участников из нашего канала действует скидка:39 000 руб 30 000 руб (469 eur) Скидка применится на странице оплаты после записи (переходи по ссылке выше!).
Мы не предъявляем никаких требований к порогу входа, всё объясняется с самого нуля, а вовлечение в статистику осуществляется только на необходимый для понимания уровень. Объясняем и показываем, что должен знать продакт менеджер, на что он может повлиять и где проходит та грань, за которую заходить совсем необязательно (или даже вредно).
Увидимся на курсе! И ждите новых длинных постов от меня).
Тема A/B тестирования покрыта большим количеством мифов, предрассудков и предубеждений. Часто это приводит к тому, что не только продакт менеджеры, но и разработчики, и даже некоторые аналитики проводят их неправильно. Тем самым основывают свои решения на абсолютно невалидных результатах.
Если вы решите окунуться в замечательный мир изучения статистики, которая является прародителем современных методик тестирования, вы заметите, что большое количество книг и статей написано либо врачами, либо преподавателями медицинских вузов для врачей. Это может показаться странным, но в реальности легко объяснимо.
По моему мнению, один из рассветов экспериментирования пришелся на то время, когда статистика стала использоваться для формирования доказательной медицины и современных клинических исследований. Мало кто знает, что есть такая научная отрасль как биостатистика, которая существует на стыке двух миров.
Многим известное понятие "плацебо" вводится для контроля ложно-положительных и ложно-отрицательных результатов, а не для того, чтобы доказать, что можно вылечить болезни за счет самовнушения. Еще меньшему количеству людей известно, что помимо "эффекта плацебо" есть "эффект ноцебо". Это когда человек, которому дали псевдо-лекарство, начинает испытывать побочные симптомы от лекарства, которое ему на самом деле не дали 🙃
Что меня в свое время поразило, так это то, что методики для расчета а/б тестов, которые мы используем иногда на миллионных выборках в сверхсложных системах, основаны на... методиках, придуманных еще в начале 20-го века или даже раньше. Поэтому многие неудобства или странности в широко используемых статистических методиках, как мне кажется, совершенно естественным образом вызваны двумя факторами:
- большой давностью изобретения этих механизмов и
- областями, в которых в 20-ом веке эти механизмы применялись.
Например, один из широко используемых методов предсказания наступления событий в будущем буквально называется "Анализ выживаемости" и название это имеет прямое отношение к расчету выживания пациентов. Но если под выживанием иметь ввиду, например, факт продления подписки или retention ваших пользователей, то методика оказывается применима не только для медицины.
Я считаю, что сейчас A/B тестирование находится на своем пике. Большинство трудностей применения статистики в современных продуктах вызвано как раз переносом методик из начала двадцатого века в область онлайн экспериментирования на тысячах и даже миллионах пользователей. Но за много лет использования экспериментирования в IT продуктах, мы не только научились на собственном горьком опыте, как избегать ошибок при использовании старых классических методов, но и использовать более современные методики тестирования, которые стали доступны относительно недавно.
Если ты тоже хочешь научиться правильно и эффективно проводить A/B тесты - записывайся на наш курс, который стартует в конце ноября. Для первых десяти участников из нашего канала действует скидка:
Мы не предъявляем никаких требований к порогу входа, всё объясняется с самого нуля, а вовлечение в статистику осуществляется только на необходимый для понимания уровень. Объясняем и показываем, что должен знать продакт менеджер, на что он может повлиять и где проходит та грань, за которую заходить совсем необязательно (или даже вредно).
Увидимся на курсе! И ждите новых длинных постов от меня).