[[361223]]

【51CTO.com原創稿件】推薦系統是互聯網行業中隨處可見的產品形態。從今日頭條到抖音都有推薦系統的影子。可以說推薦系統已經完全融入了我們的生活之中。然而推薦系統本身有些難以解決的痼疾，例如推薦系統中的馬太效應和稀疏性問題。所謂推薦系統的馬太效應，是指推薦系統的物品輸入分布通常表現為馬太效應的形式，從而影響推薦系統的計算性能和推薦效果。

工業界對于推薦系統的馬太效應的問題有著豐富的經驗，然而見著學術會議和期刊的內容少之又少。僅有的少量的公開資料都是 2017 年以后在 RecSys, ICCCBDA, SIGIR 等會議的論文。本文向大家介紹 2020 年國際學術會議 ICBDT 2020 的一篇論文 MatRec : Matrix Factorization for Highly Skewed Dataset. 本文是世界上第一批提出解決馬太效應問題的矩陣分解算法，因為其獨到的見解獲得了 ICBDT 2020 的最佳論文報告獎。因為馬太效應和算法公平性有著千絲萬縷的聯系，MatRec 也是世界上首批基于公平性的推薦系統算法。

在解決推薦系統馬太效應的時候，我們面臨的第一個問題就是如何對推薦系統的馬太效應進行建模。對馬太效應建模的最經典也是最簡單的概率統計分布是齊夫分布 (Zipf’s Distribution) , 也就是熱度排名第 i 位的物品出現的概率為 1/i。所以熱度特別高的物品出現的比率特別高，而熱度特別低的物品出現的比率特別低。從馬太效應的經典模型中，我們了解到，影響推薦系統馬太效應的主要變量是用戶的熱度排名 user rank 和物品的熱度排名 item rank，因此我們對矩陣分解模型修正如下:

而矩陣分解的整體求解框架保持不變，為如下形式:

MatRec 的基本思路是在矩陣分解的用戶特征向量和物品特征向量中分別加入了用戶熱度排名和物品排名變量，然后用隨機梯度下降進行問題求解。

MatRec 算法思路簡單，并且實現難度不高，同時性能上可以與主流的經典算法看齊。在與 ALS、BPR-MF、Deep Matrix Factorization 等算法進行對比的過程中，綜合性能出眾。

當在 LastFM 數據集合上進行測試時，ALS 的最優 MAE 為 0.05, MatRec 的最優 MAE 為 0.1771，BPR-MF 的 MAE 為 0.2+;當在 MovieLens 數據集合上進行測試時，ALS 的 MAE > 0.94，MatRec 的最優 MAE 為 0.8618，而 Deep Matrix Factorization 的 MAE 在 0.82 - 0.83，然而 Deep Matrix Factorization 的速度要比 MatRec 慢幾個數量級。

推薦系統的馬太效應和公平性近年來獲得了越來越多的關注。中國政府也在今年成立了人工智能倫理委員會，說明世界上已經有越來越多的人意識到了人工智能算法帶來的各種社會問題。隨著越來越多的人加入到人工智能倫理的研究行列，人工智能帶來的各種社會問題也一定會消失在萌芽階段。技術和人文是相伴相生、相互促進的關系，人工智能會給社會法制和哲學帶來怎樣的變革，讓我們拭目以待。

本文介紹的 MatRec 算法鏈接：https://arxiv.org/pdf/2011.04395.pdf

作者介紹

汪昊，技術總監/架構師，美國猶他大學本科/碩士，對外經貿大學在職MBA。曾在百度，新浪，網易，豆瓣等公司有多年的研發和技術管理經驗，擅長機器學習，大數據，推薦系統，社交網絡分析等技術。在 TVCG 和 ASONAM 等國際會議和期刊發表論文 11 篇。國際學術會議 IEEE SMI 2008 和 ICBDT 2020 最佳論文獎。

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】