
В @ffmemesbot мы проводили A/B/C/D тест рекомендательных систем. Вот они:
А. Item2Item - покажи мем, похожий на тот, что недавно лайкнули
B. Покажи самый залайкнутый мем
С. Покажи топовый мем по метрике: % лайков на меме * % лайков, которых ставил юзер паблику, откуда взяли этот мем
D. User2Item - коллаборативная фильтрация
В итоге две ML модели пришлось выкинуть - либо мы их не умеем готовить, либо надо еще больше данных собрать. Очевидным лидером стала модель С.
А. Item2Item - покажи мем, похожий на тот, что недавно лайкнули
B. Покажи самый залайкнутый мем
С. Покажи топовый мем по метрике: % лайков на меме * % лайков, которых ставил юзер паблику, откуда взяли этот мем
D. User2Item - коллаборативная фильтрация
В итоге две ML модели пришлось выкинуть - либо мы их не умеем готовить, либо надо еще больше данных собрать. Очевидным лидером стала модель С.