[[407036]]

【51CTO.com原創稿件】算法公平性是推薦系統近幾年來重要的研究方向。很多的研究人員和工程師在這個問題上做出了卓越的努力。因為推薦場景中的輸入數據通常存在馬太效應，因此會對計算的中間過程和計算結果產生影響。自 2017 年以來包括馬太效應在內的推薦系統公平性問題獲得了極大的關注。2020年推薦系統子領域權威會議 RecSys 上的相關論文數量達到了前所未有的程度。SIGIR 和 WWW 等頂級會議也出現了多篇排序學習公平性的論文。相關企業比如 Google 也有自己研發的推薦系統公平性框架。

一個經常出現的解決推薦系統馬太效應的框架是損失函數加懲罰項。懲罰項的選取各個研究論文表述不同，然而很多懲罰項比如相關性都不能在理論層面精確的反映馬太效應的程度。 在剛剛結束的 2021 年的國際學術會議 ICAIBD 2021 有一篇針對推薦系統馬太效應的論文 Zipf Matrix Factorization : Matrix Factorization with Matthew Effect Reduction 在理論層面解決了懲罰項如何選擇的問題，并且通過實驗結果演示了推薦系統可以同時提升技術性能和公平性指標。

齊夫矩陣分解首次明確的提出了衡量推薦系統結果中物品馬太效應的統計指標(如下所示)：

，其中 x 代表的是推薦系統輸出結果中物品的熱度排名。

加上懲罰項之后的損失函數如下圖所示：

在優化損失函數的過程中，我們并不知道熱度排名 x 的值，只能通過預估的方式。作者利用線性方程組和不加懲罰項的矩陣分解的方式對 x 值進行了近似，之后損失函數可以用隨機梯度下降(如下所示)等方法求解：

作者在 MovieLens 數據集上測試算法 MAE 如下：

可以看到，以藍線表征的齊夫矩陣分解 MAE 曲線總體性能優于沒有懲罰項的原始矩陣分解算法。而下圖則顯示了在算法性能提升的同時，馬太效應也得到了改善：

齊夫矩陣分解算法實現簡單，性能出眾，是解決推薦系統馬太效應的利器。隨著人工智能算法公平性問題得到越來越多的關注，人類終將走出矩陣的迷霧，迎來人機和平共處的曙光(黑客帝國)。我們有幸處在這樣的一個歷史時刻，見證著偉大的科技革命發生在自己的身邊。

原文鏈接：https://arxiv.org/abs/2106.07347

作者介紹

汪昊，技術總監/架構師，美國猶他大學本科/碩士，對外經貿大學在職MBA。曾在百度，新浪，網易，豆瓣等公司有多年的研發和技術管理經驗，擅長機器學習，大數據，推薦系統，社交網絡分析等技術。在 TVCG 和 ASONAM 等國際會議和期刊發表論文 11 篇。國際學術會議 IEEE SMI 2008 和 ICBDT 2020 最佳論文獎。

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】