譯者 | 陳峻

審校 | 重樓

眾所周知，異常檢測（Anomaly Detection）可以幫助企業先于競爭對手識別出即將到來的趨勢。它可以通過監控APP的流量來標記欺詐交易，并發現業務領域中的行為偏差，以便團隊成員在事件發生前予以干預。本文將和您從如下方面展開深入討論：

• 什么是異常檢測？
• AI異常檢測是如何工作的？
• 典型AI異常檢測用例
• AI異常檢測的實現

什么是異常檢測？

作為數據挖掘的一種方式，異常檢測通過分析公司數據來檢測偏離既定基線（如數據集的標準行為）的數據點。這些異常值通常預示著一些事件，如設備的技術故障、客戶偏好的變化、以及其他類型的異常。通過檢測，公司能夠在損害發生之前采取行動。

什么是異常？

在此，異常是指偏離熟悉模式的不一致數據點。盡管它并不總是一個顯著的問題，但是仍然值得調查，以防止其進一步升級。其中，業務數據上的異常通常可分為三類：

• 全局異常點，是指異常遠離其他數據的數據點。例如，您的銀行賬戶每個月會收到 7000 美元。如果您突然收到一筆 5 萬美元的轉賬，那么這就是全局異常點。
• 上下文異常點，是指在同一上下文中偏離的其他數據。例如，您所在的國家通常會在冬天下雪，而夏天則天氣炎熱。那么冬天下大雪就是正常情況。而在夏季降雪的話，就屬于異常點。
• 集體異常點，是指某些數據點的子集偏離了整個數據集。例如，您觀察到幾種看似不相關的產品的銷售額出現異常下降，但隨后您意識到它們其中存在著某種聯系，那么您的觀察結果就能夠被合并為一個集體異常點。

為什么需要AI進行異常檢測？

當前，多數公司都要處理大量的結構化數據和非結構化數據，后者通常占公司內部產生信息的 90%。由于這些非結構化數據往往是由圖像、交易、以及自由格式文本等組成，因此僅依靠人工去處理所有這些信息，并獲取有意義的見解顯然過于繁瑣。

有研究表明，機器學習技術是處理大型非結構化數據集的最佳選擇。您既可以從該領域的大量算法中選擇某個最適合自己的，也可以將幾種機器學習技術結合在一起，以獲得最佳的效果。

AI異常檢測是如何工作的？

目前，基于人工智能和機器學習的異常檢測技術主要有三種：

• 有監督的異常檢測。在此，機器學習模型能夠在包含了正常與異常行為的全標記數據集上，進行訓練和測試。這種方法在檢測訓練數據集中的偏差時效果比較好，但是在面對訓練中未曾出現的新異常時，可能就會出現問題。畢竟監督技術需要人工操作和專業的領域知識，而這些往往需要有人對數據進行標注。
• 無監督異常檢測。這種方法并不需要人工標注數據。其模型假定為：只存在一小部分與其他數據具有顯著差異的數據點，才會構成異常。由于是根據異常點的特征，而不是訓練過程中學到的知識，來檢測異常點，因此無監督技術可以出色地識別出在訓練過程中，未發現的新的異常點。不過，此類算法通常相當復雜。由于其架構是一個“黑盒子”，這意味著用戶無法獲得有關工具到底是如何做出決策的解釋。
• 半監督異常檢測。此類技術通過同時處置已標注和未標注的數據，來減少人工標注的成本。半監督異常檢測模型會在部署之后，仍舊開展自我學習，以檢測出訓練中未發現的異常。此外，與無監督技術一樣，這些模型也可以處理非結構化的數據。

基于AI的異常檢測方法

異常檢測可以依賴于人工智能、以及包括機器學習在內的各種子類型來實現。下面我們來討論五種常見的機器學習技術：

自動編碼器

自動編碼器是一種無監督的人工神經網絡。它可以壓縮數據，然后重建數據，使其盡可能地接近原始的形式。此類算法可以有效地忽略噪聲，并重建文本、圖像和其他類型的數據。通常，自動編碼器由兩部分組成：

• 編碼器，用于壓縮輸入數據
• 解碼器，將數據解壓縮，使其接近原始形式

在使用自動編碼器時，我們應注意代碼的大小，畢竟它將直接決定壓縮率。而另一項重要的參數是層數。顯然，層數越少，算法的速度雖然越快，但是可處理的特征也就越少。

貝葉斯網絡

這是一種基于概率圖的模型技術，可根據貝葉斯推理來計算概率。下圖中的節點對應的是隨機變量，而邊則代表條件依賴關系，它們使得模型能夠做出恰當的推斷。

貝葉斯網絡可用于診斷、因果建模、以及推理等方面。在異常檢測中，該方法尤其適用于檢測那些其他技術難以發現的細微偏差。同時，該方法還能夠容忍訓練過程中的數據缺失，就算在小數據集上進行訓練時，也能夠保持穩定的性能。

基于密度的模型

這是一種無監督機器學習聚類技術，純粹依靠空間位置和相鄰數據間的距離，來檢測模式。它將一個數據點的密度值與其相鄰數據點的密度值進行比較。離群點（異常點）的密度值將低于其他數據群。

支持向量機（SVM）

這是一種有監督的機器學習算法，通常可用于分類。當然，各種SVM擴展也可以在無監督環境中運行。該技術使用超平面（hyperplane），將數據點劃分為不同的類別。

盡管 SVM 通常可以處理兩到多種類別，但是在異常檢測中，它主要分析單一類別的問題。也就是說，它會去學習某一類的“標準”，以確定數據點是否屬于同一類，或者是否屬于異常點。

高斯混合模型 (GMM)

GMM 屬于一種概率聚類技術。該技術根據概率分布將數據劃分為不同的聚類。它假定數據點屬于具有未知參數的高斯分布的混合，并通過發現低密度區域的數據，來檢測異常。

典型的AI異常檢測用例

至此，您已經知道了異常檢測在幕后是如何工作的，以及它所依賴的AI技術。下面我們來探討一些不同行業的異常檢測示例。

醫療保健的異常檢測

異常檢測可以幫助醫生識別病人在健康方面出現的問題，檢測住院病人的病情狀況，并及時通知醫務人員，以協助診斷和選擇治療方法。所有這些都將能夠減少人工操作，減輕醫生的認知負擔。目前，醫療異常檢測算法可以分析如下方面的信息：

• 協助醫療物聯網設備測量生命體征和其他參數。
• 協助X 光和 CT 掃描等醫學影像設備，顯示良性和惡性腫瘤、各種感染、以及其他健康狀況的跡象。
• 協助識別和阻止醫療保險索賠中的任何欺詐活動。

該領域的一個典型異常檢測案例來自南非的研究小組。他們成功地將自動編碼器和極端梯度提升技術相結合，監控了 COVID-19 患者的生理變量，并檢測出任何表明健康狀況惡化的異常情況。

而另一個團隊不僅關注了異常點的檢測，還關注了解釋工具如何將異常點標記出來的原因。為此，他們首先使用異常檢測技術來發現異常，然后部署了挖掘算法，來勾勒出一組特征。在這些特征中，某些數據點會被認為是偏離點。

娛樂業的異常檢測

體育和娛樂環境往往依賴于數百個攝像頭，進行廣泛的視頻安全監控。借助機器學習，算法可以分析設施內每個攝像頭的視頻流，并檢測出違反安全規定的行為。

隨著機器學習模型在工作中不斷學習，它們會逐漸發現人工操作員無法注意到的威脅和違規行為。這些算法可以檢測到破壞行為、觀眾騷亂、煙霧、可疑物品等，并向安保人員發出警報，以便他們有時間采取行動，防止主辦方在責任和聲譽上受損。

一家總部位于美國的娛樂公司在全美各地都設有游戲廳。他們建立了一套機器學習驅動的異常檢測解決方案，并將其集成到基于云端的視頻監控系統中。該應用不但可以捕捉任何危險和暴力行為，還能夠發現被遺忘的物品和失靈的機器，從而簡化了管理流程。他們主要依靠交叉驗證來發現異常。例如，該方案可以通過“讀取”屏幕上的錯誤信息，并將其與可用的屏幕模板進行驗證，從而識別出存在故障問題的游戲機。同時，該方案與云安全系統無縫集成，實現了全天候的游戲機監控，并在發現異常時及時通知安全人員。

制造業的異常檢測

隨著生產過程的自動化程度越來越高，機器變得越來越復雜，設備也越來越大。因此，傳統的監控方法已經不能滿足需要。異常檢測技術可以發現設備中與常規不同的偏差，并在其升級為事故之前通知維護人員，甚至學會區分小問題和緊迫問題。具體而言，異常檢測可以為制造業發現如下問題：

• 設備故障。通過與制造物聯網（IoT）傳感器的協同，人工智能算法可以監控各種設備的參數，如振動和溫度等，并捕捉到任何偏離正常值的情況。這些變化可能表明設備的超載，但也可能意味著故障的開始。算法將會標記出該設備，以便進一步檢查。這也被稱為預測性維護。
• 設備利用率不足。基于機器學習的異常檢測解決方案，可以發現有哪些設備長期閑置，并敦促操作員平衡負載的分配。
• 安全隱患。通過監控安全攝像頭，異常檢測軟件可以發現那些不遵守工廠安全協議、且危及自身安全的員工。如果員工使用可穿戴設備進行安全監控，機器學習則可以分析傳感器數據，發現疲憊或生病的工人，并建議他們休息或離崗。
• 基礎設施問題。人工智能算法可以檢測到水或氣體的泄漏、以及任何其他基礎設施的損壞，并及時通知現場管理人員。

作為案例，Hemlock Semiconductor是美國的一家超純多晶硅生產商。它通過部署異常檢測，可以了解其流程，并記錄任何偏離最佳生產模式的情況。據此，該公司每月可節省了約 30 萬美元的資源消耗。

零售業的異常檢測

異常檢測可以幫助零售商識別不尋常的行為模式，并利用這些洞察來改善運營，并保護他們的業務和客戶。人工智能算法可以捕捉到不斷變化的客戶需求，并提醒零售商停止采購滯銷的產品，同時增加那些需求旺盛的商品進貨。同時，異常情況還能夠在商機的早期階段，讓零售商在競爭中搶先一步。此外，就電子商務而言，網站所有者則可以通過部署異常檢測模型，來監控流量，以發現疑似欺詐活動的異常行為。

當然，零售商也可以使用異常檢測技術，來確保其經營場所的安全。例如，鑒于在動作檢測任務中的出色表現，依賴三維卷積神經網絡的異常檢測方法，可被用于廣泛的斗毆數據集訓練，進而無縫到集成到現有的安全系統中。

AI異常檢測的實現

正如您所看到的，訓練定制化的人工智能模型，以進行準確的異常檢測是一項技術挑戰。為了能夠檢測預定義的異常，并發現任何偏離既定標準的行為，我們通常需要通過如下五步來實現：

步驟 1：確定異常檢測方法

這里有兩種選擇：要么是尋找數據中的特定異常，要么是標記所有偏離標準行為的數據。您的選擇將影響到訓練數據，并限制對于AI技術的選取。

如果您想捕捉每一個偏離基線的事件，那么就需要在代表正常行為的大數據集上訓練模型。例如，假設您正在研究駕駛和交通安全，那么您的數據集將由展示安全駕駛的視頻所組成。而如果您需要檢測的是特定的異常情況，例如車禍，而不是闖紅燈等輕微違規行為，那么您的訓練數據集就需要包括車禍視頻與圖像。

步驟 2：匯總和預處理訓練數據集

無論是從公司內部來源、還是使用公開數據集收集數據，上一步的結果都將有助您決定需要哪種類型的數據。接著，我們需要清理這些數據，以消除重復的、不正確、以及不平衡的條目。在數據集清理完畢之后，您可以使用擴展、歸一化和其他數據轉換技術，使數據集適合所選的AI算法。通常，我們可以將數據集分成三部分：

• 用于教學模型的訓練數據
• 用于評估模型在訓練過程中的表現的驗證數據
• 在完成訓練過程后對性能進行評分的測試數據

如需了解更多上述內容，請查看有關如何為機器學習準備數據的詳細指南-- https://hackernoon.com/data-preparation-for-machine-learning-a-step-by-step-guide?ref=hackernoon.com。

步驟 3：選擇異常檢測技術

為了構建一個定制化的AI技術解決方案，您需要考慮如下三個關鍵因素：

• 手頭的任務（請參見上述步驟 1）。如果要檢測具體定義的異常，變異自動編碼器 (Variational Autoencoder，VAE) 是一個不錯的選擇。
• 技術要求。其中包含了您希望達到的準確度和細節水平。例如，如果您想訓練一個能夠發現視頻中異常情況的機器學習模型，那么由于不同的算法會以不同的速度分析幀，因此決定最佳幀頻才是關鍵。只要您想檢測的異常情況能夠在一秒鐘之內出現，那么您就需要研究視頻片段中的每一幀。而使用較慢的算法（如 VAE）顯然就變得不切實際了。相反，奇異值分解 (Singular Value Decomposition，SVD) 則可以更快地完成此類任務。
• 訓練數據集的大小。諸如自動編碼器之類的模型，是無法在小數據集上進行正確的訓練。

步驟 4：構建、購買和訓練模型

您既可以購買現成的異常檢測軟件，也可以通過定制異常類型，實施滿足獨特需求的系統。

如果您的財力有限，沒有可定制的訓練數據集，或是沒有時間進行模型訓練，那么您可以選擇現成的異常檢測系統。不過，值得注意的是，此類解決方案往往都帶有關于數據特征的內置假設，只有當這些假設成立時，它們才會有良好的表現。而如果貴公司的數據偏離了該基線，那么由算法所檢測到的異常的準確性，將會大打折扣。

如果您有足夠的數據來訓練AI算法，那么您可以聘請機器學習開發公司，來構建和訓練定制化的異常檢測解決方案。該方案將能夠滿足您的業務需求，并適合您的流程。另一個最大的好處是，即使在部署之后，您仍然可以根據不斷變化的業務需求，調整其設置，使其更快地關注到不同的參數，進而優化該解決方案。

步驟 5：部署和監控解決方案

您既可以在本地、也可以在云端部署異常檢測解決方案。其中：

• 基于云端的異常檢測，可以匯總來自軟件系統、設備和第三方服務的數據，并將其傳輸到云端進行存儲與處理，以減輕本地資源的負擔。
• 邊緣異常檢測，可以通過機器學習算法在本地分析數據，只將部分數據上傳到云端。這種方法最適用于不能容忍延遲的關鍵性任務系統，例如：自動駕駛汽車和醫療物聯網等需求。

機器學習算法會在其工作中不斷學習，以適應新的數據類型。當然，它們也可能會產生偏差或其他不良的傾向。為避免出現此類情況，您可以通過審計來重新評估算法的性能，并實施必要的調整。

譯者介紹

陳峻（Julian Chen），51CTO社區編輯，具有十多年的IT項目實施經驗，善于對內外部資源與風險實施管控，專注傳播網絡與信息安全知識與經驗。

原文標題：Understanding Anomaly Detection and How It Can Benefit Your Company，作者: @itrex