一、知乎反作弊簡介

知乎是中文互聯(lián)網(wǎng)知名的可信賴的問答社區(qū)，為用戶提供了豐富的內(nèi)容創(chuàng)作與消費(fèi)功能，致力于讓人們更好的分享知識、經(jīng)驗(yàn)和見解，找到自己的解答。

作為UGC（用戶生成內(nèi)容）社區(qū)，知乎面臨一系列風(fēng)險，反作弊團(tuán)隊目前針對垃圾信息、刷粉、刷贊、賬戶盜用以及流量攻擊等問題進(jìn)行識別與治理，覆蓋業(yè)務(wù)場景多，面臨諸多挑戰(zhàn)。

二、互動反作弊的意義與挑戰(zhàn)

今天主要分享的是我們在刷粉、刷贊等互動反作弊方面的實(shí)戰(zhàn)經(jīng)驗(yàn)。接下來的介紹將分為三個部分：作弊的定義、作弊的原因及應(yīng)對措施。

目前，知乎面臨的刷量問題可以歸納為三類。

第一類是傳統(tǒng)機(jī)器刷量。這類行為通常通過協(xié)議攻擊或腳本攻擊偽造數(shù)據(jù)。其特點(diǎn)是數(shù)量較大且特征明顯，較為容易發(fā)現(xiàn)和治理。

第二類是真人眾包刷量。這也是近年來行業(yè)內(nèi)較為常見的一類刷量手段。黑灰產(chǎn)組織通常會在眾包平臺或任務(wù)群中發(fā)布懸賞任務(wù)，吸引真實(shí)用戶完成這些任務(wù)。盡管此類作弊模式的技術(shù)復(fù)雜度相對機(jī)器刷量較低，但其識別成本和治理難度較高。

第三類是抱團(tuán)刷量。具體表現(xiàn)為眾多創(chuàng)作者通過線下群組的形式對彼此的內(nèi)容進(jìn)行互動。這類問題在最近兩三年間在知乎平臺上較為常見，由于參與的用戶多為知乎平臺上的活躍創(chuàng)作者，這使得此類行為的治理難度較大。

作弊行為本質(zhì)上是一種趨利行為。上述提到的三類方式背后的動機(jī)可以歸納為兩大類：直接獲利和打壓競爭對手。

直接獲利的主要利益點(diǎn)可總結(jié)為以下三種：

• 獲取流量。刷量行為能夠促進(jìn)內(nèi)容分發(fā)，進(jìn)而實(shí)現(xiàn)商業(yè)價值的轉(zhuǎn)化。此外，通過刷量獲得關(guān)注，創(chuàng)作者可以進(jìn)行引流操作，吸引更多的關(guān)注度或潛在客戶。
• 滿足數(shù)據(jù)交付要求。許多客戶或廣告主對商單內(nèi)容設(shè)有數(shù)據(jù)考核指標(biāo)，創(chuàng)作者為了達(dá)到這些考核標(biāo)準(zhǔn)，可能會有動機(jī)進(jìn)行刷量，以確保數(shù)據(jù)符合預(yù)期。
• 賬號成長。刷量可以幫助快速提升賬號等級和影響力，從而解鎖平臺內(nèi)的更多權(quán)益和服務(wù)。

打壓競爭對手也是一種常見的作弊動機(jī)。常見的方式包括點(diǎn)贊競爭對手的負(fù)面內(nèi)容或惡意點(diǎn)踩其正面內(nèi)容，以此破壞對方聲譽(yù)，削弱其競爭力。

打擊作弊行為對知乎具有多方面的重要意義：

• 法律法規(guī)層面。近年來，國家高度重視虛假流量和網(wǎng)絡(luò)水軍問題，并出臺了一系列相關(guān)法律規(guī)定。在“清朗行動”等專項(xiàng)治理活動中，也特別針對網(wǎng)絡(luò)水軍及網(wǎng)絡(luò)傳播秩序提出了具體要求。因此，平臺對內(nèi)部出現(xiàn)的作弊問題進(jìn)行打擊，不僅是遵守法律法規(guī)，也體現(xiàn)了知乎作為平臺的社會責(zé)任感。
• 維護(hù)良好社區(qū)生態(tài)。知乎的良性可持續(xù)發(fā)展離不開良好、公平的社區(qū)生態(tài)，通過打擊作弊行為，可以減少其對流量分配機(jī)制的負(fù)面影響，從而提升平臺內(nèi)創(chuàng)作者、用戶以及商業(yè)客戶的體驗(yàn)。
• 提升平臺信譽(yù)?！钢醺哔潯乖谛袠I(yè)內(nèi)具有比較高的知名度，打擊刷量行為能夠進(jìn)一步提升知乎高贊內(nèi)容的可信度，助力知乎構(gòu)建真實(shí)可信賴的品牌形象。

三、作弊治理思路

盡管反作弊業(yè)務(wù)場景多樣，但我們整體上采取了統(tǒng)一方針與靈活策略相結(jié)合的思路。大方向上的目標(biāo)是實(shí)現(xiàn)風(fēng)險控制，即提高黑產(chǎn)的作弊門檻，使作弊影響控制在可接受范圍內(nèi)。

在防控鏈路上，通過風(fēng)險感知、識別、分析、處置和評估五個核心環(huán)節(jié)，形成一個風(fēng)控的良性循環(huán)（飛輪），并持續(xù)推動這一循環(huán)的運(yùn)轉(zhuǎn)，以確保業(yè)務(wù)的健康穩(wěn)定發(fā)展。

針對前面提到的三類刷量行為，依據(jù)其各自特點(diǎn)采取不同的應(yīng)對策略。

機(jī)器刷量具有明顯的自動化、規(guī)?；彤a(chǎn)業(yè)化特征，因此在對抗性和技術(shù)性上治理難度較高。對此主要在技術(shù)層面加強(qiáng)識別能力建設(shè)，并對機(jī)器賬號和行為從嚴(yán)處置。

真人眾包刷量表現(xiàn)出明顯的聚集性和行為趨同性，且參與者多為真實(shí)消費(fèi)者，因此也具備一定的對抗性。針對這一特點(diǎn)，主要以威脅情報為基礎(chǔ)，溯源用戶的作弊鏈路，并對真人眾包賬號及其產(chǎn)生的行為實(shí)施梯度處罰機(jī)制。

抱團(tuán)刷量同樣存在一定的聚集性，主要涉及平臺內(nèi)較為活躍的創(chuàng)作者，使得此類問題的治理相對復(fù)雜。因此整體思路是「控制規(guī)模、減少影響」，重點(diǎn)打擊頭部作弊者，同時聯(lián)動用戶運(yùn)營團(tuán)隊進(jìn)行引導(dǎo)，發(fā)布治理公告表達(dá)平臺態(tài)度。

四、刷贊治理實(shí)踐

反作弊工作是圍繞具體的業(yè)務(wù)場景展開的，風(fēng)控解決方案需要與業(yè)務(wù)團(tuán)隊聯(lián)動并落地實(shí)施。因此，對于業(yè)務(wù)需求會在需求確認(rèn)階段進(jìn)行介入，充分考慮各種風(fēng)險因素，通過必要的業(yè)務(wù)流程和邏輯將風(fēng)險控制在可控范圍內(nèi)。

在風(fēng)控階段，分為事前、事中和事后三個環(huán)節(jié)：

• 事前：主要部署防御性措施，解決大規(guī)模機(jī)器攻擊問題。
• 事中：是最主要的介入方式，在此環(huán)節(jié)會實(shí)時識別和處置作弊行為。
• 事后：主要包括評估、專項(xiàng)清查及反饋受理等運(yùn)營工作。

此外，在方案的關(guān)鍵環(huán)節(jié)，我們還設(shè)立了一系列監(jiān)控報警和評估機(jī)制，以保障能夠及時發(fā)現(xiàn)異常情況，并迅速做出響應(yīng)。

風(fēng)險感知是我們風(fēng)控飛輪上的一個重要信號源。在這一環(huán)節(jié)，我們通過內(nèi)外結(jié)合的方式挖掘和發(fā)現(xiàn)業(yè)務(wù)中的風(fēng)險信號。

外部威脅情報方面，通過情報運(yùn)營平臺自動抓取黑灰產(chǎn)信息，實(shí)時掌握黑產(chǎn)交易及輿情討論情況。此外，針對不同業(yè)務(wù)場景，我們制定了紅藍(lán)對抗測試方案，用于了解市場上主流的作弊手段，并作為評估當(dāng)前反作弊效果的工具，確保及時查漏補(bǔ)缺。我們還會不定期開展專項(xiàng)調(diào)研或?qū)ｎ}研究，深入分析某一類黑灰產(chǎn)的操作模式。

內(nèi)部監(jiān)測方面，基于內(nèi)部各類業(yè)務(wù)數(shù)據(jù)、風(fēng)控數(shù)據(jù)，建立風(fēng)險主動感知能力。我們將數(shù)據(jù)異常抽象為三類：

• 波動：例如，回答贊同量出現(xiàn)非正常上漲。
• 偏離：檢查某些數(shù)據(jù)是否與整體大盤存在顯著偏差。
• 聚集：如特定時段內(nèi)多個賬號集中刷贊行為。

在感知方式上，主要通過統(tǒng)計規(guī)則或算法實(shí)現(xiàn)監(jiān)控，監(jiān)控時機(jī)靈活，支持實(shí)時和離線兩種模式。

知乎業(yè)務(wù)場景多樣，以點(diǎn)贊事件為例，除了回答外，文章和想法也支持點(diǎn)贊功能，這些場景的作弊問題雖然高度相似，但在不同的點(diǎn)贊類型上可能有各自的特點(diǎn)或差異。因此，在風(fēng)險感知指標(biāo)管理上，采取「指標(biāo)管理業(yè)務(wù)」的模式，將同一個指標(biāo)賦給多個場景，各場景也可以基于自身特點(diǎn)構(gòu)建其特有的指標(biāo)，這種方式大幅降低了風(fēng)險感知指標(biāo)重復(fù)創(chuàng)建的問題。

在風(fēng)險識別環(huán)節(jié)，實(shí)時風(fēng)控是通過知乎「悟空」反作弊系統(tǒng)實(shí)現(xiàn)。具體流程如下：

• 數(shù)據(jù)層：當(dāng)用戶發(fā)起點(diǎn)贊行為時，相關(guān)數(shù)據(jù)會實(shí)時接入風(fēng)控系統(tǒng)。系統(tǒng)中設(shè)有專門的數(shù)據(jù)預(yù)處理模塊，負(fù)責(zé)對各類特征進(jìn)行計算。
• 規(guī)則層：規(guī)則引擎或統(tǒng)計引擎進(jìn)行數(shù)據(jù)分析與判斷，以識別潛在的風(fēng)險行為。
• 處置層：基于上層計算結(jié)果做出各類響應(yīng)動作，整個處理過程非常迅速，具備高時效性。

由于用戶點(diǎn)贊、關(guān)注等互動行為產(chǎn)生的數(shù)據(jù)流量較大，線上實(shí)時處置的需求也較高，為保證實(shí)時風(fēng)控系統(tǒng)的正常運(yùn)轉(zhuǎn)并保障用戶體驗(yàn)，建立了配套的運(yùn)營機(jī)制，確保系統(tǒng)的穩(wěn)定性和高效性。

策略上線前，通過悟空系統(tǒng)的規(guī)則重放模塊對新策略進(jìn)行歷史數(shù)據(jù)回溯，評估其召回準(zhǔn)確率，這一過程有助于確保策略在上線前已經(jīng)過充分驗(yàn)證。

策略上線后，系統(tǒng)層面設(shè)有一系列防護(hù)機(jī)制和功能以應(yīng)對潛在風(fēng)險。例如，對于高召回率策略實(shí)施熔斷機(jī)制，以便及時中斷可能引起的大規(guī)模線上誤傷情況。

在整個策略運(yùn)行期間，采用機(jī)器評估與人工評審相結(jié)合的方式，定期對策略體系進(jìn)行全面評估，以及時發(fā)現(xiàn)并優(yōu)化準(zhǔn)確率不達(dá)標(biāo)的策略，從而保持線上處置準(zhǔn)確率的持續(xù)穩(wěn)定。

除了實(shí)時風(fēng)控之外，也同步建立了一系列離線風(fēng)控措施，這也是整個風(fēng)險識別過程中的重要環(huán)節(jié)，為實(shí)時風(fēng)控提供了諸多基礎(chǔ)能力。對于離線風(fēng)控，將從特征、模型和畫像這三個方面進(jìn)行簡要介紹。

特征，作為一項(xiàng)基礎(chǔ)能力，主要作用包括：

• 直接提供結(jié)果，應(yīng)用于策略、算法以及報警監(jiān)控等多個環(huán)節(jié)；
• 進(jìn)行對比，當(dāng)前平臺可支持特征分布的可視化展示，同時為分析工具提供對比基線，幫助業(yè)務(wù)團(tuán)隊快速做出判斷，從而解決以往在問題定性或策略設(shè)定閾值多依賴經(jīng)驗(yàn)的情況；
• 提供方法，平臺支持用戶自定義配置所需的各種特征，實(shí)現(xiàn)特征的共創(chuàng)、共享。

在特征管理方面，主要以用戶或內(nèi)容等實(shí)體為切入點(diǎn)，針對其各自特點(diǎn)進(jìn)行場景化分類。以用戶為例，按照賬號特征、消費(fèi)行為、互動行為、創(chuàng)作行為及處罰記錄等類別進(jìn)行場景化劃分，并在各個類別下不斷積累用戶特征。

模型方面，由于刷贊通常是「團(tuán)體戰(zhàn)」而非「個人戰(zhàn)」，因此通過模型挖掘作弊團(tuán)伙是一個重要步驟。團(tuán)伙的本質(zhì)是一些有關(guān)聯(lián)的個人或?qū)ο螅虼?，我們對關(guān)聯(lián)進(jìn)行了兩類主要劃分。

一類是通過設(shè)備、IP 地址或手機(jī)號等資源進(jìn)行關(guān)聯(lián)分析。這類屬于全場景關(guān)聯(lián)，會以用戶生命周期內(nèi)注冊、登錄、支付、發(fā)文等核心行為為基礎(chǔ)進(jìn)行關(guān)系構(gòu)建。

另一類是社區(qū)發(fā)現(xiàn)，主要以單場景構(gòu)建為主。以用戶或內(nèi)容實(shí)體作為介質(zhì)，基于他們的社交互動建立關(guān)聯(lián)。通過這種方式能夠識別出許多社區(qū)或關(guān)聯(lián)團(tuán)伙，但這僅是初始環(huán)節(jié)，要確定團(tuán)伙是否涉及作弊或違反社區(qū)規(guī)范，仍需疊加多種規(guī)則進(jìn)行判斷，以確保結(jié)論的準(zhǔn)確性和可解釋性。

最后要介紹的基礎(chǔ)能力是畫像。在行業(yè)內(nèi)，許多同行可能會遇到畫像濫用或冗余的問題，在知乎反作弊的早期階段也曾面臨類似挑戰(zhàn)。因此在畫像系統(tǒng)升級時，首先確立了規(guī)范先行的原則，在畫像的創(chuàng)建、生產(chǎn)、消費(fèi)及退場四個階段均制定了標(biāo)準(zhǔn)規(guī)范，以規(guī)避冗余或?yàn)E用的問題。

在畫像設(shè)計方面，按照業(yè)務(wù)風(fēng)險域進(jìn)行劃分，每個風(fēng)險域下根據(jù)具體風(fēng)險問題進(jìn)行層級拆分，層級數(shù)最多4到5級。在各畫像節(jié)點(diǎn)創(chuàng)建時，內(nèi)部委員會也會評估其合理性及是否符合業(yè)務(wù)場景需求。

由于畫像系統(tǒng)的生產(chǎn)者和消費(fèi)者涉及眾多用戶，在生產(chǎn)和消費(fèi)環(huán)節(jié)設(shè)置了相關(guān)監(jiān)控機(jī)制，確保整個畫像體系持續(xù)健康并符合業(yè)務(wù)預(yù)期。

除了反作弊線上流程中使用的風(fēng)險畫像外，一些活動準(zhǔn)入、名單篩查等業(yè)務(wù)需求也會需要畫像輔助判斷，由于多是「一次性」需求，為了提升需求解決效率、降低分析成本，還將用戶畫像進(jìn)行了產(chǎn)品化建設(shè)。從用戶的賬號信息、內(nèi)容行為、交易記錄等多個維度進(jìn)行了劃分，每個維度都有對應(yīng)的風(fēng)險定級，并對用戶輸出綜合風(fēng)險評分，這使得用戶風(fēng)險定性不僅可量化，還具備較高的解釋性。

反作弊團(tuán)隊除了做上述體系、能力建設(shè)外，日常的反饋處理、異常分析等運(yùn)營工作也占據(jù)重要部分，由于這類工作的開展對分析工具有較高的需求，因此我們設(shè)計了「場景x角色」的綜合分析平臺。

例如，在刷贊分析場景下，至少涉及三類角色：點(diǎn)贊用戶、被贊內(nèi)容及其創(chuàng)作者，現(xiàn)有的綜合分析平臺能夠針對上述三類角色提供快速定向分析。

分析工具會具備以下特點(diǎn)：

• 時效性：由于對反饋案例需要快速響應(yīng)并給出結(jié)論，因此時效性需要優(yōu)先保障。
• 批量分析：鑒于需處理大量案例，平臺應(yīng)運(yùn)而生地具備了批量查詢和分析的能力，以提升日常分析效率。
• 可視化：考慮到反作弊工作需要 7×24 小時響應(yīng)，我們引入審核團(tuán)隊進(jìn)行協(xié)作支持，為降低大家對風(fēng)控指標(biāo)及數(shù)據(jù)的理解成本，在分析工具的可視化方面也做了諸多的探索與實(shí)踐。

以下是一個具體的案例：在分析用戶點(diǎn)贊行為時，通常需要基于埋點(diǎn)日志對用戶行為路徑進(jìn)行溯源，目前分析工具可以支持使用者了解：誰、使用了什么資源、在什么時間、從哪個入口、做了什么動作等，從用戶視角復(fù)現(xiàn)其完整路徑。

對于識別出的作弊行為或用戶，設(shè)立了配套的處罰機(jī)制。針對不同角色，會依據(jù)其嚴(yán)重程度采取相應(yīng)的梯度處置措施。此外，對于處置執(zhí)行也設(shè)有隨機(jī)延遲，防止黑產(chǎn)測出風(fēng)控策略。

然而，對作弊問題實(shí)施嚴(yán)格處置僅是一種手段，而非最終目的。處置之外，更重要的是需要讓用戶知曉其違反了社區(qū)規(guī)則、如何規(guī)范自身行為，因此規(guī)則的透傳和用戶運(yùn)營是處罰機(jī)制的重要組成部分。

規(guī)則透傳工作主要從三個方面展開：

• 社區(qū)規(guī)范：在社區(qū)規(guī)范中明確規(guī)定平臺不允許的作弊方式及相應(yīng)的處罰措施。
• 系統(tǒng)通知：對于被封禁或警告的用戶，通過系統(tǒng)通知明確告知處置原因及具體措施，并提供申訴渠道。
• 治理公告：通過「知乎小管家」對外發(fā)布各類治理公告，以表達(dá)平臺對作弊問題的治理態(tài)度。

用戶運(yùn)營方面主要包括及時受理用戶的舉報或申訴。此外，知乎也有專門的運(yùn)營團(tuán)隊向創(chuàng)作者宣貫平臺規(guī)范，幫助他們了解平臺規(guī)則，避免違規(guī)行為的發(fā)生。

經(jīng)過上述各個環(huán)節(jié)的探索與實(shí)踐，知乎在刷贊治理方面取得了一定成效。黑產(chǎn)在知乎刷贊的價格呈上升趨勢，表明反作弊打擊在一定程度上提高了黑產(chǎn)作弊成本。右側(cè)圖表展示了近期針對某一類刷贊問題開展專項(xiàng)治理前后的數(shù)據(jù)對比，經(jīng)治理后刷贊行為的發(fā)生率顯著下降，達(dá)到了降低作弊行為影響的目的。

五、反作弊感悟

最后，分享兩點(diǎn)關(guān)于反作弊工作的感悟：一個是“平衡”，另一個是“因時制宜”。

反作弊工作并非簡單處理二元問題（即0和1的問題），隨著作弊方式的變化，如何確定作弊邊界是一個經(jīng)常遇到的難題。邊界的確立不僅影響平臺治理的效果，還可能引發(fā)用戶體驗(yàn)、效率與成本之間的沖突。因此，這是一個持續(xù)探索和維持平衡的過程。

第二個關(guān)鍵詞是“因時制宜”。業(yè)務(wù)發(fā)展是動態(tài)的，伴隨業(yè)務(wù)場景變化，所遇到的作弊問題也在不斷演變。同一類型的作弊問題，在不同的業(yè)務(wù)發(fā)展階段可能需要采取不同的治理方案。很多時候，并不存在絕對唯一的最優(yōu)方案，選擇最適合當(dāng)前情況的方案才是最佳策略。

六、Q&A

Q：在進(jìn)行用戶行為定性時，如何判斷該行為是正常還是異常？在這一過程中有哪些規(guī)范或標(biāo)準(zhǔn)，或者有哪些經(jīng)驗(yàn)可以分享？

A：首先，在識別異常行為時，需要區(qū)分具體的場景。例如，刷贊和刷關(guān)注可能有不同的特征。雖然行為違規(guī)很難像內(nèi)容違規(guī)那樣有「可見性」，但是也需要有基本定性原則，針對不同場景，我們會設(shè)定了初步的、較為粗略的標(biāo)準(zhǔn)。在評估行為時主要采用以下幾種思路：

• 交叉驗(yàn)證：通過用戶在其他已確認(rèn)違規(guī)場景中的行為，或其在其他特征上的異常表現(xiàn)來驗(yàn)證當(dāng)前場景的行為是否異常。這種交叉驗(yàn)證有助于提高判斷的準(zhǔn)確性。
• 還原場景：對于行為類分析，還原具體場景非常重要。我們會將用戶的某次點(diǎn)贊行為置于其點(diǎn)贊時的具體內(nèi)容環(huán)境中進(jìn)行全面考量。例如，分析該內(nèi)容的其他點(diǎn)贊者是否與該用戶存在相似特征或其他顯著特征，從而從內(nèi)容維度對一群用戶進(jìn)行綜合定性。通過這種方式，能夠更準(zhǔn)確地對單個用戶的行為做出判斷。