Это грустно, но лишь 1 из 3 ML моделей доходит до продакшена. А приносят стат значимо метрик в АВ еще меньше моделей
Какие-то модели решают не те бизнес задачи (дают вероятность оттока, а не кому/когда/какой промокод дать), другие - оптимизируют не те метрики (заказы, а не прибыль), третьи - не интерпретируемы и поэтотому никогда не попадут в прод (диагностика заболеваний)
В общем, путь от ML модели до реальной пользы компании крайне тернист. Почитать про классические и необычные ошибки на таком пути можно почитать на канале @ml4value
Например, про то, как оптимизация метрик поиска роняет деньги
Какие-то модели решают не те бизнес задачи (дают вероятность оттока, а не кому/когда/какой промокод дать), другие - оптимизируют не те метрики (заказы, а не прибыль), третьи - не интерпретируемы и поэтотому никогда не попадут в прод (диагностика заболеваний)
В общем, путь от ML модели до реальной пользы компании крайне тернист. Почитать про классические и необычные ошибки на таком пути можно почитать на канале @ml4value
Например, про то, как оптимизация метрик поиска роняет деньги