Продолжение про скидки
Если вы тоже любите ML и персонализацию, то наверняка задумывались про персонализацию скидок = оптимальный размер скидки для каждого клиента
Глобально есть 3 варианта это сделать:
- Классические прогноз churn + даем скидку тем, кто наиболее вероятно уйдет
- Uplift
- Контекстуальные многорукие бандиты + RL
На конференциях вы скорее всего услышите про успехи Uplift и бандитов. Сегодня я расскажу про то, почему они в моей практике не заводились, и почему старый-добрый churn все еще весьма хорош
Uplift
- Для построения модели аплифта нужна рассылка скидок со случайным размером номинала. Это дорого!
- Нужно регулярно такую рассылку повторять - иначе данные устаревают
- Если у вас вводится новый тип оффера, то случайную рассылку придется повторить
В целом, история с рассылками может быть и технически сложной (разослать, проверить что все долшло, аггрегировать дланные), долгой и дорогой
Также крайне проблематично интерпретировать uplift бизнесу и тем более построить дашборды для бизнеса по uplift модели
Бандиты и RL
- Для персонализации нужны как минимум контекстуальные бандиты. Придется здорово постараться, чтобы они начали сходиться к оптимуму за разумное число итераций. Нужно будет применить много трюков, чтобы оно в принципе работало
- Сложно конструировать долгосрочный reward
- Сложно построить дашборды поверх и отвечать на вопросы "Почему мы даем этому человеку такую скидку?"
Churn
- Крайне прост. Уже знаком бизнесу = можно легко интерпретировать, строить дашборды. Любому человеку в компании понятно верхнеуровнево, что это за модель и зачем она нужна
- Явно влияет на долгосрочные метрики (снижает churn)
- Относительно легко считать юнит экономику модели
- Есть накопленный опыт ml-сообщества с best practices
В общем, я бы предложил вам начать оптимизацию маркетинга точно с модели churn. А уже потом 7 раз подумать, стоит ли внедрять uplift/бандитов/rl 😉
#marketing@ml4value
Если вы тоже любите ML и персонализацию, то наверняка задумывались про персонализацию скидок = оптимальный размер скидки для каждого клиента
Глобально есть 3 варианта это сделать:
- Классические прогноз churn + даем скидку тем, кто наиболее вероятно уйдет
- Uplift
- Контекстуальные многорукие бандиты + RL
На конференциях вы скорее всего услышите про успехи Uplift и бандитов. Сегодня я расскажу про то, почему они в моей практике не заводились, и почему старый-добрый churn все еще весьма хорош
Uplift
- Для построения модели аплифта нужна рассылка скидок со случайным размером номинала. Это дорого!
- Нужно регулярно такую рассылку повторять - иначе данные устаревают
- Если у вас вводится новый тип оффера, то случайную рассылку придется повторить
В целом, история с рассылками может быть и технически сложной (разослать, проверить что все долшло, аггрегировать дланные), долгой и дорогой
Также крайне проблематично интерпретировать uplift бизнесу и тем более построить дашборды для бизнеса по uplift модели
Бандиты и RL
- Для персонализации нужны как минимум контекстуальные бандиты. Придется здорово постараться, чтобы они начали сходиться к оптимуму за разумное число итераций. Нужно будет применить много трюков, чтобы оно в принципе работало
- Сложно конструировать долгосрочный reward
- Сложно построить дашборды поверх и отвечать на вопросы "Почему мы даем этому человеку такую скидку?"
Churn
- Крайне прост. Уже знаком бизнесу = можно легко интерпретировать, строить дашборды. Любому человеку в компании понятно верхнеуровнево, что это за модель и зачем она нужна
- Явно влияет на долгосрочные метрики (снижает churn)
- Относительно легко считать юнит экономику модели
- Есть накопленный опыт ml-сообщества с best practices
В общем, я бы предложил вам начать оптимизацию маркетинга точно с модели churn. А уже потом 7 раз подумать, стоит ли внедрять uplift/бандитов/rl 😉
#marketing@ml4value