Применение гибридных подходов в разработке рекомендательных систем

На сегодняшний день существуют множество различных алгоритмов рекомендаций, которые основываются на разных предположениях и используют различную информацию. Каждый алгоритм имеет свои достоинства и недостатки. В данной работе предпринимаются попытки объединить несколько различных подходов в одну рекомендательную систему.

В данной работе предлагается архитектура двухуровневой гибридной рекомендательной системы на основе факторизационных машин в качестве первого уровня и градиентного бустинга над деревьями решений в качестве второго уровня системы. Данная архитектура строится в рамках задачи рекомендации фильмов.

Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
Постановка задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Обзор литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
Глава 1. Коллаборативная фильтрация . . . . . . . . . . . . . . . . . 7
1.1 Фукции оценки качества ранжирования . . . . . . . . . . . . . 7
1.2 Матричное разложение . . . . . . . . . . . . . . . . . . . . . . 8
1.3 Факторизационные машины . . . . . . . . . . . . . . . . . . . . 9
1.4 Модель LightFM . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.5 Обучение ранжированию . . . . . . . . . . . . . . . . . . . . . 12
Глава 2. Контентная модель . . . . . . . . . . . . . . . . . . . . . . . 15
2.1 Деревья принятия решений . . . . . . . . . . . . . . . . . . . . 15
2.2 Градиентный бустинг в задаче рекомендации . . . . . . . . . . 18
Глава 3. Гибридная рекомендательная система . . . . . . . . . . . . . 22
3.1 Гибридизация . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.2 Набор данных . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.3 Построение решения задачи рекомендации . . . . . . . . . . . 24
3.4 Результаты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
Выводы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Приложение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

На сегодняшний день существуют множество различных алгоритмов
рекомендаций, которые основываются на разных предположениях и ис-
пользуют различную информацию. Каждый алгоритм имеет свои досто-
инства и недостатки. В данной работе предпринимаются попытки объеди-
нить несколько различных подходов в одну гибридную рекомендательную
систему. Данная система использует достоинства моделей коллаборативной
фильтрации и контентных моделей.
Эксперименты показывают, что гибридная двухуровневая модель ре-
комендации показывает достаточно высокие результаты в сравнении с от-
дельными моделями. При этом вся гибридная архитектура не является
ресурсоёмкой. Все эксперименты проводятся на реальных данных историй
взаимодейтвий пользователей в одном онлайн-кинотеатре.

[1] Robin Burke. Hybrid Web Recommender Systems, pages 377–408.
Springer Berlin Heidelberg, Berlin, Heidelberg, 2007.
[2] Koren, Yehuda; Bell, Robert; Volinsky, Chris (August 2009). “Matrix
Factorization Techniques for Recommender Systems”. Computer. 42 (8): 30–37.
[3] T. Hastie, R. Tibshirani, J. Friedman. The Elements of Statistical
Learning: Data Mining, Inference, and Prediction, Second Edition. Springer,
2016. 745 p.
[4] S. Rendle. Factorization machines. In Data Mining (ICDM), 2010
IEEE 10th International Conference on, pages 995–1000. IEEE, 2010.
[5] Maciej Kula. Metadata Embeddings for User and Item Cold-start
Recommendations. arXiv preprint arXiv:1507.08439, 2015.
[6] J. Weston, S. Bengio, and N. Usunier. WSABIE: Scaling up to large
vocabulary image annotation. In IJCAI, volume 11, pages 2764–2770, 2011
[7] J.H. Friedman. Greedy function approximation: A gradient boosting
machine. Technical Report, IMS Reitz Lecture, Stanford, 1999; see also Annals
of Statistics, 2001.
[8] K. Guolin, M. Qi, et al. LightGBM: A highly efficient gradient boosting
decision tree. In NIPS, pages 3149–3157, 2017.
[9] Q. Wu, C.J.C. Burges, K. Svore and J. Gao. Adapting Boosting for
Information Retrieval Measures. Journal of Information Retrieval, 2007.
[10] C.J.C. Burges, T. Shaked, E. Renshaw, A. Lazier, M. Deeds, N.
Hamilton and G. Hullender. Learning to Rank using Gradient Descent. Proceedings
of the Twenty Second International Conference on Machine Learning, 2005.
[11] Tie-Yan Liu (2009), Learning to Rank for Information Retrieval,
Foundations and Trends in Information Retrieval: Vol. 3: No 3, с. 225-331
[12] C. J. Burges. From ranknet to lambdarank to lambdamart: An overview.
Learning, 11, pp. 23-581, 2010.
[13] Breitinger, Corinna; Gipp, Bela; Langer, Stefan (2015-07-26). Research-
paper recommender systems: a literature survey. International Journal on Digital
Libraries. 17 (4): 305–338.
[14] Акулич И. Л. Математическое программирование в примерах и
задачах. — М.: Высшая школа, 1986. — С. 298-310.
[15] https://boosters.pro/championship/rekko_challenge/
[16] https://github.com/xaphoon/rekko_challenge