什么是好的推薦系統？個性化和非個性化推薦

作者：MicroStone 2022-11-01 07:19:45

開發架構

在過去的幾年中，無論國內或國際上各大公司在推薦系統上投入了大量資金。2009 年，Netflix 向一個開發團隊頒發了 100 萬美元的獎金，用于獎勵其將公司推薦引擎的準確性提高 10% 的算法。

最近在寫一些關于推薦系統的介紹，找了不少案例及資料，總覺得不夠具體及深入，沒有一些可作為基礎及科普類，于是萌生自己來寫一篇試試。

定義：推薦系統是信息過濾系統的子類，旨在預測用戶對產品或服務的“評分”或“偏好”。

推薦系統主要有兩種類型：個性化和非個性化。

一、非個性化推薦

非個性化推薦系統（如基于流行度的推薦器）向用戶推薦最受歡迎的Item，例如前 10 部電影、最暢銷的書籍、最常購買的產品。

什么是好的推薦？

個性化的（與該用戶相關）
多樣化的（包括不同的用戶興趣）
第二次不向用戶推薦相同商品的人
推薦可用產品的一種

二、個性化推薦

個性化推薦系統更詳細地分析用戶數據、他們的購買、評分以及他們與其他用戶的關系。這樣，每個用戶都將獲得定制的推薦。

目前最流行的個性化推薦系統類型是基于內容和協同過濾。

1、基于內容

基于內容的推薦系統使用item或用戶元數據來創建特定的推薦。觀察用戶的購買歷史。例如，如果用戶已經閱讀了一位作者的書或購買了某個品牌的產品，則假定該客戶偏好該作者或該品牌，并且用戶有可能在未來購買該品牌類似產品。假設小紅喜歡科幻小說，而她最喜歡的作家是劉慈欣。如果她讀劉慈欣的書，那么她推薦的書將是瘋狂的外星人，也是劉慈欣寫的科幻書。

實踐中的協同過濾比基于內容的方法可實現更好的推薦結果。也許是因為結果的多樣性不如協同過濾。

基于內容的推薦缺點：

濾泡現象：如果用戶閱讀了一本關于某種政治意識形態的書籍，并且向他推薦了與該意識形態相關的書籍，那么他將處于“他先前興趣的泡沫”中。
需要收集有關用戶及其偏好的大量數據以獲得最佳推薦
在實踐中，有 20% 的商品吸引了 70-80% 的用戶關注，而 70-80% 的商品吸引了 20% 的用戶關注。推薦的目標是介紹其他用戶第一眼看不到的產品。在基于內容的方法中，這個目標沒有在協同過濾中實現。

2、協同過濾

協同過濾的思路很簡單：利用用戶組行為向其他用戶進行推薦。由于推薦基于其他用戶的偏好，因此稱為協作。

協同過濾有兩種類型：基于內存的和基于模型的。

2.1 基于內存

基于內存的技術無需預處理即可應用于原始數據。它們易于實施，由此產生的建議通常易于解釋。每次都需要對所有推薦的數據進行預測。

有兩種類型：基于用戶和基于Item的協同過濾。

基于用戶：“與你相似的用戶也喜歡……”產品是根據與觀察到的用戶相似的用戶購買/喜歡的推薦給用戶的。如果我們說用戶相似，那是什么意思？例如，小明和小紅喜歡科幻書籍。當一本新的科幻書出現時，小明買了那本書，因為小紅也喜歡科幻書，那么我們可以向小紅也推薦小明購買的書。

基于Item：“喜歡這個產品的用戶也喜歡......”如果小明、小紅和小花對科幻書籍《時間簡史》和《時間機器》給予高度評價，例如給 5 星，那么當小紅購買《時間簡史》這本書時，那么《時間機器》這本書也被推薦給他，因為系統根據用戶評分將書籍識別為相似。

如何計算用戶-用戶和Item-Item相似度？

與使用關于用戶或Item的元數據的基于內容的方法不同，基于協同過濾的方法觀察并記憶用戶行為，例如用戶是否喜歡或Item是否被某個用戶喜歡或評價。

例如，這個想法是向小明推薦新的科幻小說。

步驟：

創建用戶Item評分矩陣
創建用戶-用戶相似度矩陣 (以下是示例)
計算每兩個用戶之間的余弦相似度（替代方案：調整余弦相似度、皮爾遜相似度、斯皮爾曼等級相關性）。這樣就得到了一個用戶-用戶矩陣。該矩陣小于初始用戶Item評分矩陣。

查找相似用戶
在用戶-用戶矩陣中，觀察到與小明最相似的用戶
候選生成
當找到小明最相似的用戶時，我們會查看這些用戶閱讀的書籍以及他們給出的評分。
候選人評分
根據評分，從小明最相似的用戶最喜歡的書籍到他們最不喜歡的書籍進行排名。
結果被歸一化（從 0 到 1）
候選過濾
正在檢查小明是否已經購買了這些書。那些書應該被淘汰，因為他已經讀過了。

Item相似度的計算以相同的方式完成，并且具有與用戶-用戶相似度相同的步驟。

基于用戶和基于Item的方法的比較

Item之間的相似度比用戶之間的相似度更穩定，因為數學書永遠是一本數學書，但用戶可以改變主意，例如他上周喜歡的東西下周可能不喜歡。另一個優點是產品比用戶少。這導致得出的結論是，具有相似性分Item-Item矩陣將小于用戶-用戶矩陣。如果新用戶訪問該站點，而基于用戶的方法在這種情況下是存在的，那么基于Item的方法也是一種更好的方法。

2.2 基于模型

這些模型是使用機器學習算法開發的。創建一個模型并基于它提供推薦候選結果，從而加快系統的工作。這種方法有更好的可擴展性。這種方法經常使用降維，最著名的方案是矩陣分解。

矩陣分解

如果有來自用戶的反饋，例如，用戶觀看了特定的電影或閱讀了特定的書并給出了評分，則可以以矩陣的形式表示，其中每行代表特定用戶，每列代表一個特定Item。由于用戶幾乎不可能對每一個Item進行評分，因此該矩陣將有許多未填充的值，這稱為稀疏性。矩陣分解方法用于找到一組潛在因素并使用這些因素確定用戶偏好。可以通過分析用戶行為來評價潛在信息，潛在因素也稱為特征。

為什么要分解？

評分矩陣是兩個較小矩陣的乘積：Item特征矩陣和用戶特征矩陣。

矩陣分解步驟：

隨機用戶和Item矩陣的初始化

Ratings矩陣由用戶乘以轉置的item矩陣得到

矩陣分解的目標是最小化損失函數（預測矩陣和實際矩陣的評級差異必須最小）。每個評分可以描述為用戶矩陣中的行和Item矩陣中的列的點積。

K 是一組 (u,i) 對，r(u,i) 是用戶 uItem項目 i

為了最小化損失函數，我們可以應用隨機梯度下降（SGD）或交替最小二乘法（ALS）。這兩種方法都可用于隨著新評級的出現而增量更新模型。SGD 比 ALS 更快、更準確。

3、混合推薦

混合推薦代表不同推薦者的組合。一般是幾個不同推薦器的組合將比單個算法提供更好的結果，實際上大多公司都是使用混合推薦

4、推薦系統指標

將使用哪些指標取決于要解決的業務指標。如果我們認為我們已經做出了最好的推薦方案并且指標很好，但在實踐中它很不理想，那么我們的推薦方案就是不理想的。最重要的是用戶對推薦系統要有信心，使用推薦系統的結果。如果我們向他推薦前 10 個產品，而只有 2 或 3 個與他相關，用戶會認為推薦系統不好。出于這個原因，我們的想法不是總是推薦前 10 個Item，而是推薦超過某個閾值的Item項目。

指標：

準確度（MAE、RMSE）
測量前 N 個推薦人：

命中率：首先在訓練數據中找到該用戶歷史中的所有Item；刪除其中一項（交叉驗證）；使用所有Item作為推薦者并找到前 10 條推薦；如Item出現在前 10 條推薦中，則它是成功的。如果沒有，它是不理想的。

平均互惠命中率（ARHR）：我們推薦用戶在排名中排名靠前的Item比排名靠Item更多。

累積命中率：那些低于某個閾值的評分被拒絕，例如低于 4 的評分

評分命中率- 計算每個item的評分，以確定哪種評分獲得更多點擊。將 top-N 列表中每種評分的命中數相加，然后除以 top-N 列表中每個評分的Item總數。

在線 A/B 測試：A/B 測試是對推薦系統進行在線評估的最佳方式。