В чем value неудачного ML-эксперимента?
1. Возможно ваша оффлайн ML-метрика/таргет не коррелирует с бизнесовой метрикой
Нужно найти новую оффлайн метрику/таргет
Из классики: учили модель рекомендаций на предсказание кликов - получили кликбейт в топе. Меняете на клики + добавление в корзину, например
2. Эффект от простого MVP не превышает стат погрешности (ниже MDE)
Тут стоит подумать, превысит ли ее эффект от SOTA. Обычно простейшие решения дают 80% эффекта
3. Вы круто решаете ML-задачу, но не боль конечного пользователя
Из не-млного, но бесящего постоянно 😇: Фильтр по рейтингу на любых картах
Пользователь хочет найти "хороший, проверенный ресторан". Ставит фильтр "рейтинг > 4.5". Получает кучу ресторанов с рейтингом 5.0 и 1 отзывом (вероятно, фродовый от самого владельца). Ну вот зачем так делать?
Если цель сделать фильтр "хорошие места", то хорошо бы фильтровать по рейтинг > Х и кол-во отзывов > Y
Если вы дочитали до сюда и хотите чего-то ML-ного, то для задачи удержания клиентов лучше предсказывать не по вероятности оттока > Х, а добавить ещё условие и остаточный пусть 3-месячный LTV после удержания > Y
1. Возможно ваша оффлайн ML-метрика/таргет не коррелирует с бизнесовой метрикой
Нужно найти новую оффлайн метрику/таргет
Из классики: учили модель рекомендаций на предсказание кликов - получили кликбейт в топе. Меняете на клики + добавление в корзину, например
2. Эффект от простого MVP не превышает стат погрешности (ниже MDE)
Тут стоит подумать, превысит ли ее эффект от SOTA. Обычно простейшие решения дают 80% эффекта
3. Вы круто решаете ML-задачу, но не боль конечного пользователя
Из не-млного, но бесящего постоянно 😇: Фильтр по рейтингу на любых картах
Пользователь хочет найти "хороший, проверенный ресторан". Ставит фильтр "рейтинг > 4.5". Получает кучу ресторанов с рейтингом 5.0 и 1 отзывом (вероятно, фродовый от самого владельца). Ну вот зачем так делать?
Если цель сделать фильтр "хорошие места", то хорошо бы фильтровать по рейтинг > Х и кол-во отзывов > Y
Если вы дочитали до сюда и хотите чего-то ML-ного, то для задачи удержания клиентов лучше предсказывать не по вероятности оттока > Х, а добавить ещё условие и остаточный пусть 3-месячный LTV после удержания > Y