如何高效應用自動化異常檢測系統(tǒng)
由于各種設備產(chǎn)生的數(shù)據(jù)爆炸式增長，新型攻擊和復雜威脅的快速增加，基于人工智能的自動化異常檢測系統(tǒng)現(xiàn)在越來越受歡迎。
異常檢測系統(tǒng)可以應用于各種業(yè)務場景，管理數(shù)百萬個指標的大規(guī)模數(shù)據(jù)，并通過篩查數(shù)據(jù)發(fā)現(xiàn)問題。例如它可以監(jiān)控金融科技公司的金融交易，檢測其網(wǎng)絡中可能存在的欺詐活動、數(shù)百萬種產(chǎn)品電子商務價格故障等問題。
在應用異常檢測系統(tǒng)時，企業(yè)應關注以下重要問題，以確保能夠實現(xiàn)高效檢測目標：
- 警報頻率是多少(5分鐘or10分鐘、1小時or1天?)
- 對可擴展解決方案需求(大數(shù)據(jù)與常規(guī)RDBMS數(shù)據(jù))
- 本地或基于云的解決方案(Docker與AWS EC實例)
- 無監(jiān)督與半監(jiān)督解決方案
- 如何閱讀和優(yōu)先考慮各種異常以采取適當?shù)男袆?基于點的、上下文的、集體的異常)
- 警報與系統(tǒng)的集成
以下是對上述六個問題的詳細介紹：
什么是警報頻率：
警報頻率在很大程度上取決于被檢測流程的敏感性，包括反應時間等指標。一些應用程序的檢測需要低延遲，比如在幾分鐘內檢測到用戶的可疑欺詐支付交易并將其提示給用戶，以防銀行卡被濫用;還有一些應用程序的檢測，則無需特別敏感，例如來自手機基站的呼入和呼出，可以匯總到每小時級別，而不是以5分鐘為間隔進行測量。因此可采取適用性測量應對敏感性警報過多的情況。
可擴展解決方案需求：
電子商務或金融科技等行業(yè)企業(yè)，由于此類企業(yè)對速度或可擴展性的需要，可能將數(shù)據(jù)保存在大數(shù)據(jù)環(huán)境中。在一些大數(shù)據(jù)場景中，硬件和軟件的可擴展性需要分別由Hadoop和Spark等系統(tǒng)來處理，而在常規(guī)場景中則需要考慮RDBMS和Python編程。
本地或基于云的解決方案：
對于金融科技和銀行等某些業(yè)務，由于存在合規(guī)性和保密性相關的問題，數(shù)據(jù)不能轉儲到云中。對于電子商務等其他一些業(yè)務，數(shù)據(jù)可以上傳到私有云中。異常檢測解決方案應考慮這些方面的差異，以了解部署是否可以Docker格式進行本地服務或基于云電商解決方案以實現(xiàn)基于云的需求。
無監(jiān)督與半監(jiān)督解決方案：
雖然部署無監(jiān)督學習算法來檢測基于時間序列的數(shù)據(jù)的異常是一種常見的解決方案，但這些系統(tǒng)經(jīng)常會產(chǎn)生大量誤報。在這種情況下，如果企業(yè)發(fā)現(xiàn)警報數(shù)量較多，他們可以根據(jù)評分優(yōu)先處理警報，并且可以設置更高的閾值分數(shù)以增加對關鍵異常的關注。但是，也確實存在半監(jiān)督算法，它使算法能夠根據(jù)用戶對生成的異常反饋進行重新訓練，在后期不會重復此類錯誤，但重要的是要記住，集成半監(jiān)督算法確實有其自身的挑戰(zhàn)。
如何閱讀和優(yōu)先處理各種異常以采取行動：
異常類型在基于點、上下文和集體等不同性質上的處理需求不同。基于點的異常是從單個序列生成的異常，這些異常可能是一對一的;上下文異常是在不同時間段表現(xiàn)為異常的異常，否則將被視為正常數(shù)據(jù)點。上下文異常的示例可能是，如果在下午呼叫量激增不會被視為異常，而如果在午夜發(fā)生相同數(shù)量的激增，則將被視為異常。上下文異常也出現(xiàn)在單個系列上，類似于基于點的異常;最后，集體異常出現(xiàn)在各種數(shù)據(jù)系列中，這些集合試圖創(chuàng)建一個完整的故事。公司應該定義他們正在尋找的異常類型，以便充分利用異常檢測系統(tǒng)。此外，通過基于評分系統(tǒng)對異常進行優(yōu)先級排序，可以給予更高級別的異常更多的優(yōu)先權。
警報與系統(tǒng)的集成：
一旦生成警報，就需要與可用的內部系統(tǒng)集成。如果不注意這一點，驗證過程將會耗用資源，尤其是在誤報的情況下。理想情況下，來自異常檢測系統(tǒng)的警報應與電子郵件通知系統(tǒng)、SMS通知系統(tǒng)或任何其他儀表板系統(tǒng)集成，這些系統(tǒng)可以向用戶發(fā)送有關檢測到故障的通知。
【本文是51CTO專欄作者“安全牛”的原創(chuàng)文章，轉載請通過安全牛（微信公眾號id:gooann-sectv）獲取授權】
