Нужно ли сохранять историю проведенных А/Б экспериментов?
При правильном использовании журнал экспериментов может стать для вас полноценной базой знаний с ценной информацией обо всех изменениях в продукте. Вот несколько пунктов, почему ведение журнала может быть полезно для компании.
🔹 Развитие культуры проведения А/Б экспериментов
Краткое изложение текущих и прошлых экспериментов подчеркивает важность экспериментирования и способствует развитию аналитической культуры в компании.
Для этого, к примеру, на встречах по обсуждению текущих экспериментов вы можете пробегаться по записям из журнала. А когда речь заходит о старых экспериментах – ссылаться на конкретные записи из него.
🔹 Распространение лучших практик проведения экспериментов
Когда все больше команд начинают проводить эксперименты, следовать лучшим практикам становится сложно. Но благодаря базе знаний можно подчеркивать как именно проводились аналогичные или похожие А/Б тесты соседними командами и перенимать их практики.
Кроме этого, проанализировав старые эксперименты, можно обнаружить, где есть точки для улучшений в методологии их проведения.
🔹 Онбординг для новых сотрудников
Для нового сотрудника в компании особенно ценно наличие перечня гипотез с результатами их проверки. Это помогает избежать повторения ошибок и вдохновляет на инновации.
🔹 Анализ метрик
Проанализировав старые эксперименты, вы можете лучше понять чувствительность и взаимосвязи метрик.
К примеру, вы установили, что замедление скорости загрузки главной страницы всего на секунду драматически влияет на выручку. А время загрузки картинки на какой-то из страниц – нет. И что изменение цены подписки влияет на конверсии в последующие продления.
🔹 Генерация новых гипотез
По мере того, как вы анализируете старые эксперименты, выявляются закономерности, которые могут подтолкнуть вас к новым, более взвешенным идеям.
А изменения, которые не сработали в прошлом, возможно, стоит попробовать снова, если изменилась среда или методология их проверки.
---
Я настоятельно рекомендую собирать общую информацию по каждому эксперименту. К ней относится, например, описание гипотезы эксперимента, макеты изменения, когда эксперимент был запущен и завершен, кем из продуктовых менеджеров и аналитиков проводился. У вас также должны быть описаны результаты влияния на целевые метрики и продукт в целом. Наконец, нужно фиксировать, какое решение по эксперименту было принято и почему.
Чтобы не изобретать структуру документа, вы можете воспользоваться моим шаблоном для ведения журнала А/Б экспериментов
При правильном использовании журнал экспериментов может стать для вас полноценной базой знаний с ценной информацией обо всех изменениях в продукте. Вот несколько пунктов, почему ведение журнала может быть полезно для компании.
🔹 Развитие культуры проведения А/Б экспериментов
Краткое изложение текущих и прошлых экспериментов подчеркивает важность экспериментирования и способствует развитию аналитической культуры в компании.
Для этого, к примеру, на встречах по обсуждению текущих экспериментов вы можете пробегаться по записям из журнала. А когда речь заходит о старых экспериментах – ссылаться на конкретные записи из него.
🔹 Распространение лучших практик проведения экспериментов
Когда все больше команд начинают проводить эксперименты, следовать лучшим практикам становится сложно. Но благодаря базе знаний можно подчеркивать как именно проводились аналогичные или похожие А/Б тесты соседними командами и перенимать их практики.
Кроме этого, проанализировав старые эксперименты, можно обнаружить, где есть точки для улучшений в методологии их проведения.
🔹 Онбординг для новых сотрудников
Для нового сотрудника в компании особенно ценно наличие перечня гипотез с результатами их проверки. Это помогает избежать повторения ошибок и вдохновляет на инновации.
🔹 Анализ метрик
Проанализировав старые эксперименты, вы можете лучше понять чувствительность и взаимосвязи метрик.
К примеру, вы установили, что замедление скорости загрузки главной страницы всего на секунду драматически влияет на выручку. А время загрузки картинки на какой-то из страниц – нет. И что изменение цены подписки влияет на конверсии в последующие продления.
🔹 Генерация новых гипотез
По мере того, как вы анализируете старые эксперименты, выявляются закономерности, которые могут подтолкнуть вас к новым, более взвешенным идеям.
А изменения, которые не сработали в прошлом, возможно, стоит попробовать снова, если изменилась среда или методология их проверки.
---
Я настоятельно рекомендую собирать общую информацию по каждому эксперименту. К ней относится, например, описание гипотезы эксперимента, макеты изменения, когда эксперимент был запущен и завершен, кем из продуктовых менеджеров и аналитиков проводился. У вас также должны быть описаны результаты влияния на целевые метрики и продукт в целом. Наконец, нужно фиксировать, какое решение по эксперименту было принято и почему.
Чтобы не изобретать структуру документа, вы можете воспользоваться моим шаблоном для ведения журнала А/Б экспериментов