作者 | 汪昊

審校 | 重樓

推薦系統誕生于1992 年的一篇論文。自推薦系統誕生以來，無數的科學家和工程師為這一領域傾注了心血。在過去32 年里，許多大學成立了研究推薦系統的研究組（比如科羅拉多大學的THAT 組），而各種各樣的公司（百度、字節跳動等）也充分利用了推薦系統的獲客屬性，實現了低成本高收益的引流渠道。據報道，推薦系統能夠幫助大型網站實現30% 到40% 的流量提升。據咨詢公司Modor Intelligence 預測, 2024 年推薦系統的世界市場份額會達到500 億元人民幣以上。

目前，全世界推薦引擎增長最快的地區是亞太地區，而推薦系統的主要玩家都是大規模的云計算公司和老牌巨頭企業。在過去幾年中，沒有哪家創業公司能夠快速發展，吃掉大公司的市場份額。因此，我們可以初步認為，推薦系統在全球范圍內的發展已經進入了穩定期。

2017 年以來，越來越多的專家關注到了推薦系統算法性能之外的問題，特別是推薦系統的公平性。然而有一個非常棘手的問題，推薦專家們一直沒能很好的解決。那就是推薦系統的冷啟動問題。在沒有數據的情況下，我們該怎么解決推薦的難題？為了介紹相關知識，我們先介紹一下零樣本學習的發展歷程。零樣本學習發端自21 世紀的頭十年，然而過去20 年的零樣本算法，基本都需要遷移學習或者元學習，沒有一個算法能成為真正的零樣本學習。這一狀況一直等到了2021 年ZeroMat 被發明出來后才得以改變（ZeroMat 的源代碼地址：https://github.com/haow85/ZeroMat），后續陸陸續續有新的零樣本算法出現，讓人們意識到即便不使用任何數據，我們也可以把推薦做的很好。

2023 年 Ratidar Technologies LLC 公司 （公司官網：http://ratidar.mysxl.cn）推出了一款不需要數據的推薦系統算法 LogitMat（論文下載地址：https://arxiv.org/ftp/arxiv/papers/2307/2307.05680.pdf）。該算法利用了邏輯回歸和矩陣分解結合的方式，在不使用輸入數據的情況下，完美地完成了推薦的任務。下面我們來看一下這個算法的細節：

上面這個公式是矩陣分解的損失函數。簡單來說，就是我們需要計算出用戶特征向量 U 和物品特征向量V, 以便使得他們的點乘和用戶評分的差值最小。可以看出來，矩陣分解算法本質上是一個降維算法。我們利用向量點乘將用戶評分矩陣的O(mn) 空間復雜度降為 O(k(m+n))，其中m 是用戶數、n 是物品數、k 是向量長度。通常k 遠小于m 或 n ，因此矩陣分解算法有效的降低了算法的空間復雜度。

我們發現電影評分服從冪律分布，因此我們可以用評分值本身來替換評分的分布。如果我們用邏輯回歸來表示評分的分布，也就等價于用邏輯回歸來計算評分值。我們得到下面的公式：

其中 U 和 V 就是矩陣分解中的 U 和 V，而 W 和Z 是系數。的值就是下標I 本身。那么我們把這個公式帶入到矩陣分解的損失函數公式中去，得到下面的損失函數公式：

利用隨機梯度下降對該損失函數求導。我們得到了如下的公式：

雖然公式看起來非常復雜，但其實實現起來只需要比對公式正常輸入就可以，因此實現難度并不大。

LogitMat 的發明人隨后在MovieLens 1 Million Dataset 和 LDOS-CoMoDa Dataset 兩個不同的數據集合上驗證了該算法的準確率和公平性。MovieLens 1 Million Dataset 由6040 名用戶和3952 部電影的評分組成，而LDOS-CoMoDa Dataset 是個更小的數據集合。作者在測評準確率的時候使用了MAE 指標。之所以作者使用 MAE 指標，是因為該指標歷史最為悠久，能夠和海量論文實驗數據作對比。而在測評公評性的時候，作者采用了 Degree of Matthew Effect。

實驗結果如下：

上圖顯示了LogitMat 和4 種零樣本學習，2 種排序學習和經典的矩陣分解算法的對比效果，LogitMat 取得了第2 名的好成績。

上圖顯示了算法在 LDOS-CoMoDal 數據集合上的測評結果。同樣的，LogitMat 算法的效果非常理想，讓人拍案叫絕。

LogitMat 是不需要數據的推薦系統算法，因為在算法的求解過程中沒有出現評分矩陣的評分值 R。利用這個思路，我們可以設計出許多新的零樣本學習算法。這一切聽上去似乎非常可怕——我們可以不利用任何數據預測我們喜歡什么電影。而這并不需要花多少的計算資源就可以實現。事實上，我只要有一臺 2024 年的手提電腦就可以預測成千上萬人的興趣愛好。

需要注意的是，我們只需要修改 W 和 Z ，把他們改成更為復雜的形式，就可以把 LogitMat 變為深度學習模型。基于深度學習的零樣本學習算法，其實離我們也并不太遙遠了。也許有一天，我們會發現，所謂的推薦系統和評分體系不過是一場人類歷史上的美麗誤會。僅僅因為我們跑的太快，我們忘了自己的數學根基并不牢靠。或許，推薦系統有著我們長久忽略的社會學意義，就像下面這篇論文中描述的：Human Culture: A History Irrelevant and Predictable Experience （論文下載地址：https://arxiv.org/ftp/arxiv/papers/2307/2307.13882.pdf），人類的文化因為冪律現象和時間無關現象被鎖死了。

作者簡介

汪昊，前 Funplus 人工智能實驗室負責人。曾在 ThoughtWorks、豆瓣、百度、新浪等公司擔任技術和技術高管職務。在互聯網公司和金融科技、游戲等公司任職 13 年，對于人工智能、計算機圖形學和區塊鏈等領域有著深刻的見解和豐富的經驗。在國際學術會議和期刊發表論文 42 篇，獲得IEEE SMI 2008 最佳論文獎、ICBDT 2020 / IEEE ICISCAE 2021 / AIBT 2023 / ICSIM 2024最佳論文報告獎。