導讀：大模型技術正深刻重塑商業風控體系，推動風險管理向智能化、高效化、精準化轉型。本系列專題首篇聚焦快手商業化風控內容審核場景，系統剖析大模型如何破解傳統風控痛點，構建覆蓋全鏈路的風險治理新范式。后續篇章還將進一步揭秘大模型評估標準Bechmark、智能體Agent、多模態推理模型等內容，敬請期待。

一、引言

快手商業化場景下，風險控制不僅關乎平臺的信譽和經濟效益，更直接影響用戶和客戶的體驗和利益。理想的風控系統需要具備前瞻性和高度自適應能力，能夠預測并管理潛在的風險，如科幻電視劇《西部世界》中的超級AI "雷荷波"（Rehoboam），展現了對全球風險的預測和即時干預的能力?，F實中，我們追求的是一個“旋轉對抗飛輪”式的系統，通過持續加速對抗能力的提升，對抗飛輪就會轉得越快，我們的防控能力就會越強大，能夠有效增加惡意行為者的對抗成本。這不僅要快速感知和識別新的風險，還需對風險進行深入的認知分析，并能夠在風控實戰中表現出高度的魯棒性。基于此，將圍繞一下幾個方面進行內容展開：

?

• 風控治理發展現狀
• 風控領域的大模型構建
• 大模型在快手商業化風控的應用
• 總結與展望

二、風控治理發展現狀

二、風控治理發展現狀

2.1 發展現狀

從業務運營的視角看，快手商業化風控系統緊密圍繞安全、效率與體驗維度展開，旨在精準契合平臺、客戶與用戶多元化需求，這些需求主要包括：平臺需要以低成本能夠有效控制風險、用戶期望不受低質廣告的干擾、客戶則希望視頻審核過程快速、透明且具有高可解釋性，以低成本獲取高收益。隨著技術的不斷進步，智能風控系統已從初期的規則驅動發展為數據驅動的傳統機器學習，再演化為依賴深度學習的模型驅動，最終升級到現今的大模型驅動階段。

2.2 風控面臨的技術問題與挑戰

盡管取得了顯著進展，當前快手商業化智能風控系統仍面臨幾個關鍵挑戰：

挑戰一：客戶不斷高漲的體驗需求

客戶在接收到審核結果時，如果內容是生硬、缺乏具體操作指導，會讓客戶難以理解如何根據審核反饋優化素材，因此，客戶越來越希望平臺優化反饋的內容，獲得更好的平臺體驗服務。

挑戰二：對抗行為與審核規則的快速變化

部分客戶為了規避平臺的監管，不斷創新風險素材。此外，審核規則的變動也增加了風控的復雜性，因為某些內容的合規性可能隨時間和政策法規的變化而調整。

挑戰三：人工審核效率不斷提質

鑒于廣告內容和相關規則的復雜多變性，審核員需要審查大量素材并記住繁雜的規則。這種方式不僅耗時，還可能會出現人為錯誤。

?

為應對這些挑戰，快手商業化風控進一步融合先進的AI技術，提升自動化水平，增強系統的適應性和靈活性，以實現更高效、更精準的風險管理。同時，還需優化用戶體驗和反饋機制，以提升用戶與客戶的滿意度。

三、風控領域的大模型構建

接下來介紹大模型在快手商業化風控場景下的探索，風控領域大模型構建的技術流程圖如下所示：

?

為了打造具備高效風控能力的AI模型——明鏡大模型（KwaiBLM），我們采取了一系列系統化和層次化的開發步驟：

?

1. 繼續預訓練階段：利用快手內部高質量語料庫（Kwai-Data）進行了訓練，以使模型更好地理解和處理風控審核的特定內容。此階段的目的在于讓模型在實際部署前，能夠深入學習并充分掌握與風控相關的語義和圖像特征。

?

2. 微調（Fine-tuning）階段：我們針對風控場景的具體需求，構建了包含多種模態（文本、圖像、音頻和視頻）的高質量指令標注數據集。通過這些詳細標注的數據，對模型進行了深入微調，這一步是至關重要的。

?

3. 模型迭代階段：我們通過對模型在特定不良案例中的表現進行深入分析，并結合實際應用中的用戶反饋，不斷地優化和調整模型參數。這一過程旨在不斷提升模型的魯棒性和適應性，以確保其在各種場景下的穩定運行。

?

4. 模型應用階段：模型不僅用于客戶體驗優化和風險防控，也用于應對尺度變化和提升審核效率。此外，模型在實際應用中的表現也將作為后續優化和調整的重要依據。

?

以上步驟構成了我們實現具有高效風控能力的AI模型（明鏡大模型，KwaiBLM）的核心路徑 ，我們確保了模型在風控真實環境下的適用性和準確性，有效地輔助視頻內容的審核工作，以識別和過濾違規內容。以下是詳細的技術說明。

3.1 繼續預訓練階段

風控大模型（明鏡大模型，KwaiBLM）在繼續預訓練階段主要分為數據收集、Prompt Engineering、數據處理、語料清洗、訓練數據、模型訓練幾個部分，實現過程如下所示：

?

為了構建專注于風控場景的的AI模型，我們將風控的領域知識注入到了快手內部通用的預訓練模型中進行繼續預訓練，讓模型能夠或者特定的領域能力，具體實現流程如下：

?

• 數據收集：我們將真實場景中的高質量素材沉淀為訓練語料。這一步驟是模型訓練的基礎，確保了模型訓練數據的真實性、多樣性、場景的豐富程度等特性。

?

• Prompt Engineering：基于不同素材類別，我們組裝了多樣的提示詞模板，并利用 MMGPT 構建訓練語料。這一環節主要是通過精確的提示詞引導模型更好地理解和處理特定場景數據。

?

• 數據基礎處理：我們通過對收集到的結構化和非結構化數據進行處理與標注，構建了堅實的數據基礎，這包括數據的格式化、清洗以及初步的分類標注，以確保數據的質量和適用性。

?

• 語料精準清洗：在人工和自動化的幫助下，對收集到的數據進行過濾、處理和標注。這一過程不僅包括風控場景專有的指令數據，還涉及結構化數據、非結構化數據、開源數據及種子數據等，從而構建一個全面而完善的訓練語料庫，從而保障訓練語料的質量、多樣性、均衡性以及合規性等。通過混洗處理后的語料形成用于訓練的數據集，隨后針對特定領域任務（如風險控制）進行后訓練，以適應特定任務的需求。

?

• 模型訓練：在這一階段，我們對AI模型進行繼續預訓練相關工作，以確保其在處理風控相關任務時的準確性和效果，將已有訓練語料中的風控領域知識注入到快手內部通用預訓練模型中，訓練成為風控領域專有的大模型。
  

3.2 微調（Fine-Tuning）階段

我們在微調階段主要分為兩個步驟，分別是訓練數據構建和微調。其中微調主要采取了兩種方式，分別是全參數微調和LoRA微調，并且在二者基礎上對風控場景的最終效果進行了比對。

訓練數據構建

為了提高AI模型在風控領域的應用效果，我們采用了多模態（圖像-文本對）的數據，從而通過GPT-4生成多樣化的指令數據，包括對話數據和細節描述數據：

?

• 對話數據：我們構建了prompt模板，設計了多樣化的問題，讓模型能夠提出并回答關于物體類型、數量、動作、位置及其相對位置的具體問題。這些問題的設計避免了不確定性，確保模型提供的回答是確定且準確的。
• 細節描述數據：為了豐富圖像描述，我們使用GPT-4生成了一個問題列表。對于每個圖像，從列表中隨機抽取問題，讓GPT-4生成詳細的描述，以提供全面的圖像理解。

?收集到的數據，我們會進行二次語料優化，主要包括以下內容：

?

• 數據清洗：為確保訓練數據的質量，我們移除了無關、損壞、重復及低質量的數據。
• 數據增強：我們采用了針對不同場景的特定方法來擴展數據集，包括圖像轉換、噪聲添加、文本擾動等，以增加數據的多樣性和均衡性，從而提高模型的泛化能力。

多模態融合

由于需要保證不同的模態的語料之間能夠更好的融合，我們也在不同的階段采用了不同的方式：

• 動態融合：根據不同場景和數據特點，動態選擇最適合的融合方式，甚至在不同的處理階段采用不同的融合策略。其中融合方式我們設定的有三種，分別為：

• 前期融合：在特征提取之前將不同模態的數據合并，例如將音頻特征與幀級視頻特征結合
• 中期融合：各模態分別提取特征后在指定層級合并。
• 后期融合：各模態獨立進行到最后階段再進行結果的融合，可以減少模型對錯誤模態的依賴。

• 融合加權：為不同模態的特征或結果賦予不同的權重，依據其在特定任務中的重要性和可靠性進行調整。

?

大模型微調

我們在微調這一部分的工作主要分為以下兩個階段：

?

1. 特征對齊階段（Stage 1）：我們凍結了圖片編碼器和文本編碼器，只對投影矩陣進行更新。此操作的目的是確保視覺Token（Vision Token）與語言Token（Language Token）之間能夠達到精確對齊。通過這樣的對齊，模型可以更好地理解和處理視覺與文本間的關聯信息，從而提高多模態數據處理的準確性和效率。

?

2. 多指令微調階段（Stage 2）：我們繼續凍結圖片編碼器，但重新激活文本編碼器和投影矩陣的更新。這一步驟專注于讓模型學習更廣泛的對話語義，特別是那些開放性的對話元素。此階段的微調有助于模型在處理更復雜、更自然的對話場景時展現出更好的性能，尤其是在理解和生成人類語言的上下文中。

?

通過這兩個階段的精細調整，我們的模型也處理開放性對話方面表現出了更高的適應性和靈活性。微調方法采取分別為全參數微調和指令微調，技術架構如下圖所示，分別對應于全參數微調（左）、LoRA微調（右）：

?

在訓練過程中，我們采用的了低資源和分布式的方式去進行訓練，保障模型效果的同時，加速模型訓練過程，較少耗時，具體分為兩部分：

?

• 低資源訓練：我們采用LoRA等參數高效的微調方式進行模型訓練，顯著減少了模型訓練的資源消耗，適用于特定場景。
• 分布式訓練：為了有效處理大規模數據和復雜模型，我們合理分配了不同類型的計算資源，并使用分布式訓練框架以提高訓練的速度和效率。

3.3 大模型推理評測

大模型量化與推理加速 

為了降低大模型在實際部署過程中需要耗費大量資源的問題，我們進一步對大模型進行了量化和推理部署加速，我們嘗試使用了AWQ對模型進行量化。研究表明，大模型在推理的時候僅保護1%的顯著權重可以大大減少誤差，AWQ量化與其他量化方式有一些處理上的差異，可以參照下圖所示內容^[1]：

• ?RTN量化：在量化過程中忽略顯著權重以提高模型的效率。雖然模型體積縮小了，但是效果并不理想，因為被忽略的顯著權重具有重要作用。
• 保留FP16中1%的顯著權重：FP16通道導致硬件效率低下，并且是通過激活確定顯著權重，即使能保留少量顯著權重，FP16的通道限制仍然讓模型性能大打折扣。
• 量化前縮放權重（AWQ）：在量化之前先對模型的權重進行常量縮放，以平衡模型中的權重差異，這樣做可以在保證模型性能的同時顯著縮小模型的大小，增強穩定性。

?

在推理加速上我們使用的是vLLM框架，其核心就是PagedAttention，在自回歸模型的生成過程中，Key和Value緩存通常占用大量顯存，PagedAttention有效地解決了顯存占用過高的問題，其核心思想如下^[2]：

• 分塊存儲：PagedAttention 將每個序列的 Key 和 Value 緩存分為多個塊（Blocks），每個塊包含固定數量的 Tokens 的 Key 和 Value 張量。這種分塊方式允許模型按需加載和處理部分數據，而不是整個序列的全部數據。
• 非連續顯存空間利用：在操作系統中，虛擬內存允許程序使用連續的地址空間，而實際的物理內存可以是非連續的。Paged Attention 允許在非連續的顯存空間中存儲連續的 Key 和 Value 數據塊。這樣可以更有效地利用顯存，尤其是在顯存碎片化嚴重的情況下。
• 按需加載和計算：通過只加載和處理需要參與當前計算的 Key 和 Value 塊，可以顯著降低每次 Attention 操作的顯存需求。這不僅降低了內存占用，還可以提高計算效率。
• 動態調整：根據實際需要，系統可以動態調整塊的大小和數量，以優化性能和顯存使用。

量化與推理加速評測結果

我們選取同量級參數的模型上對量化和推理加速后得到的結果進行了對比，結果如下：

評測結果表明，13B的大模型的權重大小從26.2G大幅縮減到7.25G左右，顯存占用大幅下降，從而顯著提升了部署和推理效率。此外，經過量化處理的模型在VQA、LLaVa-Bench和MM-Vet基準測試上進行了評估，性能損失仍處于可接受的范圍內。

四、大模型在快手商業化風控的應用

4.1 客戶體驗

在商業化場景下，確保審核結果的可解釋性與透明是十分重要的，為了提升審核流程和優化用戶體驗，我們進行的工作如下圖所示。

主要分為三個部分詳細介紹如下：

• 規則搜索：系統根據對輸入識別出的內容風險類型自動在規則庫中檢索相關規則，確保每次響應都高度相關和精確。
• Prompt 構建：結合檢出的風險、相應的規則及視頻字幕，系統構建用于生成回復的信息提示（Prompt）。
• 生成回復：利用大模型的強大語言理解和推理能力，根據Prompt生成清晰且具有高度可解釋性的回復。這種回復不僅容易理解，而且能夠清楚地向用戶說明決策背后的邏輯，極大地提升了用戶體驗。

4.2 風險對抗

在風險治理過程中我們也發現有的客戶為了廣告點擊率，試圖使用低俗、甚至是色情的素材內容送審，都被平臺風控識別并予以拒絕過審。這背后就是一種風險對抗的場景，以下通過幾例拒審的廣告素材，探討對抗策略及其演變：

• 階段一：模糊處理敏感內容。素材中出現了動畫形式的色情部位，表現形式比較直接，傳播低俗內容。
• 階段二：隱喻性的暗示。素材通過展示香蕉和人的結合動作，進行性暗示。這種手法通過日常物品與人體結合的畫面，造成了一種隱晦卻明顯的性關聯暗示，增加了觀看的爭議性。
• 階段三：模擬性的性暗示。素材中引入一些物品的結合，模擬色情動作，此類畫面的暗示性更強。

?

可以看出客戶為規避平臺審核，采取不斷升級的對抗策略，挑戰平臺規則和法律法規。這需要平臺在治理過程中，要持續迭代升級治理的策略和技術，對抗不斷衍化的風險。針對這些問題，我們采用了三種方式進行檢測。

智能協同——RAG增強的自動化內容審核

核心思想是利用RAG（Retrieval-augmented generation）進行復雜查詢的生成和信息檢索，結合AutoML（Automated machine learning）的自動化模型訓練和迭代，提升模型的審核能力和適應性，具體的實現流程如下圖所示：

RAG應用階段：

信息檢索和標注：利用RAG技術，通過圖像和文本檢索，從大規模的視頻幀向量庫中檢索出可能含有風險的圖像。這些被檢索出的內容會由大模型進行進一步的語義標注和分類，確保信息的準確性和相關性。

?

AutoML應用階段：

模型訓練與優化：通過AutoML技術自動構建和訓練專門的小模型，針對特定的風險類別進行優化。這一過程包括模型的選擇、訓練、驗證以及上線，大大縮短了開發周期，提高了模型的應用靈活性和效率。

智能雙劍——小模型預檢與大模型精查

核心思想是采用雙層模型結構，首先利用風險識別能力較高的小模型對視頻幀進行初步篩查，識別出潛在的高風險內容；隨后，再使用計算能力更強的大模型對這些被標記的幀進行深入分析和確認，具體的實現流程圖如下所示：

小模型預篩選階段：

初步風險評估：小模型對視頻幀進行快速掃描，利用其訓練好的特征識別算法，高效地識別出可能包含風險的視頻幀。此步驟可以大量減少需要深度分析的數據量，從而節省計算資源。

?

大模型精確檢測階段：

深度內容審核：對于小模型標識為高風險的視頻幀，大模型進行詳細的內容審核。由于已經通過小模型預篩選減少了處理量，大模型可以集中計算資源，進行更深入的分析，確保審核的質量和準確性。

智能深潛——大模型語義驅動與小模型快速檢測

核心思想是使用多模態大模型對視頻內容進行全面的語義解析和描述，融合通用視角表征構建fewshot小模型，具體的實現流程圖如下圖所示：

語義描述階段：

大模型處理：利用大模型對視頻每一幀進行的語義描述Caption，還原視頻的幀所表達的含義。通過大模型強大的理解和推理能力，對視頻中的各種元素和活動進行全面分析和記錄。

?

風險檢測階段：

小模型應用：采用針對不同風險類型訓練的小模型對上述生成的語義描述文本進行分析，實現快速且精確的內容檢測。這些小模型因其專注于特定的任務，速度快。

4.3 應對尺度變化

隨著社會觀念和內容消費行為的變化，內容審核的標準也在不斷演進。比如在對所謂“低俗場景”的定義上，審核規則的改變對模型的識別能力和適應性提出了更高的要求。以下是“霸總”類素材的使用，我們繼續探討審核規則如何影響模型的識別和判定能力，以及在規則變化下，模型如何進行適應和迭代：

階段一：初期審核標準。在此階段，模型按照既定規則運作，對“霸總”類內容不進行標記，屬于合規的內容。

?

階段二：審核標準的調整。隨著監管尺度的變化，原先的“霸總”內容，這要求模型進行調整。此時，原有小模型的魯棒性受到挑戰，需要進行迭代以匹配新的審核標準，從而避免過時的識別邏輯。

?

適應性模型迭代可以確保內容審核與審核標準保持同步，提高審核的相關性和準確性。這不僅可以增強模型的應用價值，還有助于避免因審查過嚴或過寬而引發的社會問題。針對這個問題，我們使用了兩種方式去進行處理。

動態調整——RAG增強的內容審核應對尺度變化

核心思想是通過大規模的數據檢索，結合大模型對自然語言的理解能力，可以從龐大的歷史違規素材庫中提取出與當前審核素材相似的案例及其相關的處理規則，從而為新素材的風險判斷提供有力的參考和依據，具體的實現流程如下圖所示：

歷史素材和規則檢索：

大量相似素材檢索：利用大模型的強大檢索能力，快速找出與目標素材內容相近或相似的歷史違規素材。

?

風險評估與決策支持：

綜合分析和風險判斷：大模型結合檢索到的素材和相關審核規則，進行綜合的分析和風險評估。在這一過程中，模型不僅分析內容的表面特征，還考慮了以往類似案例的處理結果和背后的規則邏輯。

雙層檢測——小模型快速篩選與大模型深度驗證應對尺度變化

核心思想是通過分層模型的應用，先使用小模型快速篩選出高危風險內容，根據風險內容查找出更新后的規則，然后用大模型針對這些內容和相應的最新審核規則進行深入分析和判斷，具體的實現流程如下圖所示：

小模型初篩階段：

高危風險檢測：小模型專門針對低俗內容高危風險進行初步篩選。這些模型被訓練以快速識別潛在的高風險內容，確保這些內容能夠被準確識別。

?

大模型深度分析階段：

結合增量審核規則的復審：對于被小模型標記的內容，大模型將結合最新的增量審核規則進行詳細分析。這一步驟不僅基于內容本身，還考慮最近更新的規則，確保判斷的及時性和相關性。

4.4 審核效率提升

智能總結——自動化內容歸納優化

在處理大量的自動語音識別（ASR）輸出時，面臨的主要挑戰之一是文本的冗長和格式混亂，這嚴重影響了審核人員的閱讀效率。為了解決這一問題，我們利用大模型的理解能力對文本進行智能總結，可以顯著優化文本內容，使其更加清晰并且具有可讀性。

?

該方式極大地提高了審核過程的效率，審核人員可以更快地處理信息，減少了處理時間和勞動強度。

輔助人審——快速關鍵信息標識

為提高視頻內容審核的效率和準確性，同時為人審提速，實現自動處理和審核視頻內容，整體流程如下圖所示：

?

主要分為四個步驟進行工作開展：

• 批注文本信息抽取：對視頻附帶的批注進行結構化抽取，確保所有文本信息都被準確記錄和轉換為可操作數據格式。
• 視頻素材底部文本抽?。?/span>對視頻素材底部顯示的文本信息進行結構化抽取。這包括字幕、注釋或任何嵌入視頻中的文字。
• 信息自動比對：抽取的文本信息經過算法自動比對，通過內置邏輯判斷信息間的一致性與差異。
• 比對結果展示：最后，比對結果將直觀地展示給審核人員，允許他們快速識別問題區域并做出決策。

這種方式不僅大幅度提高了審核速度，也提升了審核結果的準確性，從而優化了整個審核的工作流程。

五、總結與展望

隨著技術的不斷進步，人工智能正逐漸滲透到我們生活和工作的每一個角落。特別是在內容生成、理解和體驗的領域，AI技術的發展為我們帶來了前所未有的便利和效率。以下是我們在風險控制場景中的一些未來展望，以及我們認為值得持續深入發展的關鍵領域：

?

1、跨模態深度融合：進一步發展多模態內容理解技術，通過實現圖像、文本、音頻和視頻的高效融合，同時利用各模態相互驗證和補充的機制，極大提升內容審核的全面性和精確度，尤其關注對含有復雜語義和含蓄信息內容的精準處理。

?

2、自學習的高效審核：結合大模型架構和先進的檢索增強生成（RAG）技術，通過運營知識庫，實現模型對最新審核標準和違規模式的實時學習和自適應。這不僅提升對新興違規內容的預警能力，還顯著減少對人工干預的依賴，大幅提高審核工作的效率和反應速度。 

?

3、可解釋和透明的AI審核：AI審查模型將趨向更復雜的決策路徑和邏輯，未來需要不斷完善模型的可解釋性機制，透明化AI的決策過程。這有助于用戶和監管機構理解模型作出特定決策的邏輯，同時，模型決策途徑也可以更有效地知道模型的優化和調整，以適應不斷變化的內容審核需求和標準。

?

4、審核流程自動化：結合Agent技術，推動審核流程中各個組件的智能協同工作，根據分析結果自動選擇相應的應對策略，實現視頻內容審核的全程自動化，大幅減少人力成本，并提升審核工作的連續性和可靠性。

?

展望未來，人工智能將繼續在各個基礎領域實現重要突破。通過應用的多元化拓展，AI不僅將改善我們的工作效率，還將提升決策的質量和檢測的可靠性。隨著大模型技術的成熟，在未來的生活和工作中，同時也會扮演更加關鍵和積極的角色。

?

本系列后續篇章還將進一步揭秘大模型評估標準Benchmark、智能體（Agent）技術、多模態推理模型等前沿議題，持續釋放技術賦能價值，敬請期待。

參考文獻：

[1] Lin J, Tang J, Tang H, et al. AWQ: Activation-aware weight quantization for llm compression and acceleration[J]. arXiv preprint arXiv:2306.00978, 2023.

?

[2] Kwon W, Li Z, Zhuang S, et al. Efficient memory management for large language model serving with pagedattention[C]//Proceedings of the 29th Symposium on Operating Systems Principles. 2023: 611-626.