Главная ошибка в АБ-тестировании – отсутствие АБ-тестирования
Компании часто упускают возможность объективно и контролируемо улучшать свои продукты из-за полного или частичного отсутствия АБ-тестирования. Не проводить эксперименты означает:
♦️ Принятие решений наугад. Решения без АБ чаще всего базируется на мнении самого высокооплачиваемого человека на встрече. Вне зависимости от опыта этого человека, 90% экспериментов не дают положительного результата. И без АБ – любые гипотезы остаются лишь субъективными предположениями, которые могут значительно ухудшить показатели продукта.
♦️ Упущение потенциальных улучшений. Без АБ-тестов компании упускают возможность оптимизировать части продукта. А ведь даже небольшие изменения могут значительно вырастить метрики.
Причины отсутствия культуры экспериментов могут быть самые разные. Вот по-моему опыту основные из них:
🔹 Разработчики и менеджеры хотят быстрее катить изменения и пренебрегают экспериментами. В этом случае нужно напомнить им, что мы не фичи выкатываем, а растим продукт. И без АБ – мы не можем объективно оценивать вред или пользу изменений. Подготовка к эксперименту должна быть зашита в Definition of Done любого изменения.
🔹 Считается, что невозможно или нерационально проводить эксперименты. Возможно, в вашей команде банально не хватает экспертизы. Проконсультируйтесь с коллегами из других команд, или привлеките экспертизу извне.
🔹 Это действительно технически невозможно или бизнесово неоправданно. Такое действительно бывает. Но есть альтернативные, хоть и менее надежные способы провести А/Б без А/Б – Switchback, PSM, Quasi A/B, и т. д.
Не соглашайтесь катить изменения без АБ. Растите продукт контролируемо и принимайте решения объективно.
Интересна ли вам рубрика об экспериментах? Накидайте🐋 , чтобы я понимал, что рассказываю о релевантных для вас вещах.
#абтесты
Компании часто упускают возможность объективно и контролируемо улучшать свои продукты из-за полного или частичного отсутствия АБ-тестирования. Не проводить эксперименты означает:
♦️ Принятие решений наугад. Решения без АБ чаще всего базируется на мнении самого высокооплачиваемого человека на встрече. Вне зависимости от опыта этого человека, 90% экспериментов не дают положительного результата. И без АБ – любые гипотезы остаются лишь субъективными предположениями, которые могут значительно ухудшить показатели продукта.
♦️ Упущение потенциальных улучшений. Без АБ-тестов компании упускают возможность оптимизировать части продукта. А ведь даже небольшие изменения могут значительно вырастить метрики.
Причины отсутствия культуры экспериментов могут быть самые разные. Вот по-моему опыту основные из них:
🔹 Разработчики и менеджеры хотят быстрее катить изменения и пренебрегают экспериментами. В этом случае нужно напомнить им, что мы не фичи выкатываем, а растим продукт. И без АБ – мы не можем объективно оценивать вред или пользу изменений. Подготовка к эксперименту должна быть зашита в Definition of Done любого изменения.
🔹 Считается, что невозможно или нерационально проводить эксперименты. Возможно, в вашей команде банально не хватает экспертизы. Проконсультируйтесь с коллегами из других команд, или привлеките экспертизу извне.
🔹 Это действительно технически невозможно или бизнесово неоправданно. Такое действительно бывает. Но есть альтернативные, хоть и менее надежные способы провести А/Б без А/Б – Switchback, PSM, Quasi A/B, и т. д.
Не соглашайтесь катить изменения без АБ. Растите продукт контролируемо и принимайте решения объективно.
Интересна ли вам рубрика об экспериментах? Накидайте
#абтесты