Part 01

“網絡暴力”是什么？

“網絡暴力”是指用文字、圖片、視頻等形式在網絡上誹謗、污蔑他人，損害他人的名譽權、隱私權等，給當事人帶來精神壓力與心靈創傷，是社會暴力在網絡上的延伸。我們最常見的網絡暴力主要出現在微博、視頻、新聞資訊、論壇上。

“網絡暴力”的成因，一是網絡的匿名性，保護了個人隱私的同時，也讓侵權者可以發表不計后果的言論；二是部分媒體為了追求流量與關注度，采用片面報道和刻意扭曲事實來增加話題性；三是當輿論形成，個人容易趨向于群體價值理念的方向、忽視了自我理性思考的能力。

Part 02

自然語言處理技術（NLP）與“網絡暴力” 

社交媒體上的網絡暴力主要以評論、彈幕等形式傳播，對于分析評論、彈幕這樣的非結構化語言數據，應用的核心AI技術主要是自然語言處理。自然語言處理技術基于機器學習和深度學習方法，能夠讓機器自動學習語言特征，從而讓機器擁有對人類語言的理解能力，目前該技術已廣泛用于文本分類、自動摘要、問答系統、機器翻譯、情感分析等方面，在現實生活中常見的語音助手、以及最近大火的ChatGPT等都是自然語言處理技術常見的應用，而在“網絡暴力”治理方面，也會涉及到以下幾個方向：

文本實體抽取：

“網暴”的對象通常是某個人物或事件，所以我們首先要在海量評論數據中篩選出對某網暴事件的評論，這里面主要涉及命名實體識別算法（NER）。NER算法主要分為基于規則方法，基于統計方法，基于深度學習方法等。

圖1 命名實體識別方法

文本情感分析：

情感分析可以針對某條評論進行正/負向打分，同時識別出語義中是否包含不同種類的情緒細節，還可以從文本中智能提煉對整體情緒影響最大的關鍵詞。從而可以了解千萬條評論內容背后的網民情緒分布，甚至還可以按時段，按地域，按性別對不同群體對不同事件的情緒進行分析，及時管控對事件的消極暴力情緒，同時根據極性詞挖掘更多潛在網暴行為。

圖2 不同的情緒分類

涉及的技術點主要是利用機器學習（SVM等）或深度學習（CNN）的文本分類和極性詞挖掘，整體流程如圖所示： 

圖3 句子級情感分析方案

文本相似度分析：

對同一個事件的評論內容進行相似度分析，可以幫助我們發現事件評論的輿論趨勢。對不同事件的評論內容進行相似度分析，可以找到與“網暴”用戶用詞或表達有共同點的評論，挖掘出某件事/某個人近期的輿論積極/消極性。目前，相似度分析的深度學習范式主要有兩種，如下圖所示：

圖4 相似度分析的兩種范式

第一種范式首先通過深度神經網絡提取評論內容的表示向量，再通過表示向量的簡單距離函數（歐式距離等）計算兩者的相似度，這種方式提取表示向量通常用孿生網絡來實現，屬于這一類的常用模型包括DSSM、CNTN等。

第二種范式是通過深度模型提取評論內容的交叉特征，得到匹配信號張量，再聚合為相似度分數。

句法/詞法分析：

通過句法和詞法分析，我們可以挖掘出大量“積極”評論和“網暴”評論的常見句法，詞法習慣，從而總結出當前網絡環境中“網暴”用戶普遍所使用的話術和用詞，以及不同用戶在表達觀點極性時所使用的的語言特點。

句法結構分析，用來識別句子的主謂賓定狀補，并分析各成分之間的關系，一般基于深度學習的RNN和LSTM序列模型。

詞法分析的任務就是：將輸入的評論內容字符串轉換成詞序列并標記出各詞的詞性，主要用到序列標注技術，具體算法包括，條件隨機場（CRF）、RNN+CRF等。

圖5 詞法分析樣例

Part 03

總結 

“網絡暴力”的存在，不僅會直接危害到受害人的權益，還會對網絡安全和社會和諧帶來不良的影響。中國移動智慧家庭運營中心憑借在深度學習、圖像識別、自然語言處理、OCR等方面的技術積累，推出內容安全防護產品，可對圖片、文本、視頻、音頻等中涉黃、涉暴恐、涉政、涉賭、圖片OCR、人臉識別等多維度內容進行安全檢測。

隨著AI技術的發展，基于技術手段的互聯網暴力治理，將逐漸扮演重要角色。中國移動智慧家庭運營中心將在該場景持續進行先進技術探索，結合業界前沿技術賦能內容生態構建，積極響應國家網信辦“清朗”系列專項行動，為清朗網絡環境貢獻自己的一份力量。