Рекомендательные системы 🔮
Друзья, давайте сегодня поговорим про метрики качества в рекомендательных системах. Мы уже разбирали то, как устроены рекомендательные системы, а также обсуждали некоторые алгоритмы, работающие внутри. Чтобы было наглядно, давайте будем рассматривать систему, которая будет рекомендовать видео, основываясь на наших вкусовых предпочтениях. И так, про метрики…
🧐 Пусть наша задача предсказать долю видео, которую посмотрит пользователь или рейтинг этого контента. Если рейтинг – вещественное число, тогда, очевидно, мы будем прогнозировать вещественную целевую переменную. Здесь можно использовать привычные нам функционалы: MSE, MAE, RMSЕ и т.д. Если рейтинг – это класс, то здесь уместно будет использовать F-меру, AUC-ROC и т.д. Тут разобрались.
📌 Но чаще всего задача рекомендательных систем – это выдавать контент, максимально советующий вкусам пользователей. Как это померить? Давайте разбираться. Обычно рек система выдает некий топ элементов: например, 30 видео, которые должны понравиться пользователю. Соответственно, нам необязательно знать какие будут предложены элементы, после первых тридцати. Конечно же это важно, но в меньшей степени. Ведь если пользователь видит 30 видео, которые ему совсем не нравятся, вряд ли он будет листать страницу до конца. Таким образом, мы пришли к мысли о том, что мерить нам нужно качество топа элементов (то есть насколько релевантный контент был показан первым).
Далее в карусели 👉
Друзья, давайте сегодня поговорим про метрики качества в рекомендательных системах. Мы уже разбирали то, как устроены рекомендательные системы, а также обсуждали некоторые алгоритмы, работающие внутри. Чтобы было наглядно, давайте будем рассматривать систему, которая будет рекомендовать видео, основываясь на наших вкусовых предпочтениях. И так, про метрики…
🧐 Пусть наша задача предсказать долю видео, которую посмотрит пользователь или рейтинг этого контента. Если рейтинг – вещественное число, тогда, очевидно, мы будем прогнозировать вещественную целевую переменную. Здесь можно использовать привычные нам функционалы: MSE, MAE, RMSЕ и т.д. Если рейтинг – это класс, то здесь уместно будет использовать F-меру, AUC-ROC и т.д. Тут разобрались.
📌 Но чаще всего задача рекомендательных систем – это выдавать контент, максимально советующий вкусам пользователей. Как это померить? Давайте разбираться. Обычно рек система выдает некий топ элементов: например, 30 видео, которые должны понравиться пользователю. Соответственно, нам необязательно знать какие будут предложены элементы, после первых тридцати. Конечно же это важно, но в меньшей степени. Ведь если пользователь видит 30 видео, которые ему совсем не нравятся, вряд ли он будет листать страницу до конца. Таким образом, мы пришли к мысли о том, что мерить нам нужно качество топа элементов (то есть насколько релевантный контент был показан первым).
Далее в карусели 👉