Ранжирование в задаче рекомендаций 💻
🔎 Друзья, помните, мы с вами закончили наш последний разговор про рекомендательные системы на том, что в неплохо было бы учитывать порядок отдачи релевантных элементов. Еще раз обратим внимание на то, что же мы хотим оценивать: набор рекомендаций {классное видео, классное видео, скучное видео, скучное видео} не будет равен набору {скучное видео, скучное видео, классное видео, классное видео}. Для измерения качества ранжирования будем использовать метрику DCG.
Введем некоторые обозначения.
📌 Пусть a(u,i) будет прогнозом модели для пользователя u товара i.
📌 Мы сортируем прогнозы a(u,i) для пользователя u по убыванию. То есть мы получаем какой-то отсортированный набор элементов, которые ранжировались на основе значений прогнозов модели.
📌 Обозначим как p номер позиции в ранжировании, r - рейтинг, выставленный пользователем определённому элементу на позиции p.
📌 Далее g – функция, которая зависит от рейтинга, то есть релевантности некоторого конкретного элемента, и d - штраф за позицию. Обратите внимание на картинку, так будет проще сориентироваться в обозначениях.
Теперь перейдем к метрике DCG@k, далее выше на картинках
🔎 Друзья, помните, мы с вами закончили наш последний разговор про рекомендательные системы на том, что в неплохо было бы учитывать порядок отдачи релевантных элементов. Еще раз обратим внимание на то, что же мы хотим оценивать: набор рекомендаций {классное видео, классное видео, скучное видео, скучное видео} не будет равен набору {скучное видео, скучное видео, классное видео, классное видео}. Для измерения качества ранжирования будем использовать метрику DCG.
Введем некоторые обозначения.
📌 Пусть a(u,i) будет прогнозом модели для пользователя u товара i.
📌 Мы сортируем прогнозы a(u,i) для пользователя u по убыванию. То есть мы получаем какой-то отсортированный набор элементов, которые ранжировались на основе значений прогнозов модели.
📌 Обозначим как p номер позиции в ранжировании, r - рейтинг, выставленный пользователем определённому элементу на позиции p.
📌 Далее g – функция, которая зависит от рейтинга, то есть релевантности некоторого конкретного элемента, и d - штраф за позицию. Обратите внимание на картинку, так будет проще сориентироваться в обозначениях.
Теперь перейдем к метрике DCG@k, далее выше на картинках