Владимир на связи с ответом на кейс про неработающие рекомендации. Кстати, такие кейсы мы задаём регулярно, смотрите по хэштэгу #productdo_кейс и качайте продуктовую насмотренность.
Итак, рекомендации вроде «живые», но работают не так, как надо.
Во-первых, сразу оговорюсь, что в западных компаниях нет понятия «виноват», а есть - learning :) Это позволяет сосредоточиться на проблеме и причинах, а это и есть самое важное для будущего продукта.
Теперь вернёмся к сути кейса: по-хорошему, продакт должен подумать над какой-то метрикой, позволяющей видеть аномалии рекомендаций. Например, если в 90% случаев выбирается дефолтное значение, это должно быть явно видно на графике (он, например, будет почти одного цвета за неделю). Можно это автоматизировать и повесить несрочный warning, но тогда надо как-то такие аномалии запрограммировать.
Другой способ - это следить за аномалиями CTA рекомендации - эта метрика должна была упасть. Если нет, то ваша дефолтная рекомендация не такая уж плохая :) А если CTA вырос, то команду аналитиков можно уволить :)
Как подготовиться к таким факапам?
На уровне компании: уметь писать и вести библиотеку postmortem, чтобы систематично учиться на чужих ошибках.
На уровне команды: иногда делать вместе упражнение «что может пойти не так» и находить «дыры» в мониторинге и других аспектах сервиса.
До встречи в четверг на следующем кейсе.
Итак, рекомендации вроде «живые», но работают не так, как надо.
Во-первых, сразу оговорюсь, что в западных компаниях нет понятия «виноват», а есть - learning :) Это позволяет сосредоточиться на проблеме и причинах, а это и есть самое важное для будущего продукта.
Теперь вернёмся к сути кейса: по-хорошему, продакт должен подумать над какой-то метрикой, позволяющей видеть аномалии рекомендаций. Например, если в 90% случаев выбирается дефолтное значение, это должно быть явно видно на графике (он, например, будет почти одного цвета за неделю). Можно это автоматизировать и повесить несрочный warning, но тогда надо как-то такие аномалии запрограммировать.
Другой способ - это следить за аномалиями CTA рекомендации - эта метрика должна была упасть. Если нет, то ваша дефолтная рекомендация не такая уж плохая :) А если CTA вырос, то команду аналитиков можно уволить :)
Как подготовиться к таким факапам?
На уровне компании: уметь писать и вести библиотеку postmortem, чтобы систематично учиться на чужих ошибках.
На уровне команды: иногда делать вместе упражнение «что может пойти не так» и находить «дыры» в мониторинге и других аспектах сервиса.
До встречи в четверг на следующем кейсе.