安全管理平臺（SoC）的一項關(guān)鍵技術(shù)就是事件關(guān)聯(lián)分析。借助實時的事件關(guān)聯(lián)分析引擎，安全管理平臺能夠發(fā)掘出復(fù)雜的海量安全日志和事件背后隱藏的信息，引導(dǎo)安全管理人員發(fā)現(xiàn)外部入侵和內(nèi)部違規(guī)行為。作為本系列的第五篇文章，將深入為大家剖析安全管理系統(tǒng)的關(guān)聯(lián)分析引擎技術(shù)架構(gòu)，并向讀者展示關(guān)聯(lián)分析的價值和前景。　　

1 為什么需要安全事件關(guān)聯(lián)分析？

1.1 安全建設(shè)的新階段

信息系統(tǒng)的安全建設(shè)已經(jīng)從過去的局部優(yōu)化階段進入了整體優(yōu)化的階段。

當(dāng)今的企業(yè)和組織在IT信息安全領(lǐng)域面臨比以往更為復(fù)雜的局面。這既有來自于企業(yè)和組織外部的層出不窮的入侵和攻擊，也有來自于企業(yè)和組織內(nèi)部的違規(guī)和泄漏。為了不斷應(yīng)對新的安全挑戰(zhàn)，企業(yè)和組織先后部署了防病毒系統(tǒng)、防火墻、入侵檢測系統(tǒng)、漏洞掃描系統(tǒng)、UTM，等等。這種被動的安全建設(shè)過程就像是挖壕溝，為了抵御某一方面的安全威脅，客戶不斷地把壕溝加深，并開鑿了一條又一條的壕溝。由于這些安全系統(tǒng)都僅僅防堵來自某個方面的安全威脅，于是形成了一個個安全防御孤島，無法產(chǎn)生協(xié)同效應(yīng)。另一方面，企業(yè)和組織日益迫切的信息系統(tǒng)審計和內(nèi)控、以及不斷增強的業(yè)務(wù)持續(xù)性需求，也對當(dāng)前企業(yè)信息安全管理提出了嚴(yán)峻的挑戰(zhàn)。這些內(nèi)因外因合起來，都要求企業(yè)和組織建立一套橫向貫穿孤立的安全防線的整體安全管理平臺，實現(xiàn)對全網(wǎng)IT資源運行的監(jiān)控、安全的監(jiān)控、風(fēng)險的監(jiān)控，真正讓企業(yè)管理者把握整體安全態(tài)勢，實現(xiàn)有效地協(xié)同防御。

1.2 海量事件帶來的新挑戰(zhàn)

要構(gòu)建一個統(tǒng)一的安全管理平臺，首先就需要將來自企業(yè)和組織中復(fù)雜IT資源及其安全防御設(shè)施運行過程中不斷產(chǎn)生的各類安全日志和事件進行統(tǒng)一收集、分析，構(gòu)建一幅企業(yè)和組織的整體安全態(tài)勢圖。

對于一個典型的用戶而言，經(jīng)過較為系統(tǒng)的安全建設(shè)后，都會部署較多的安全產(chǎn)品。這些安全產(chǎn)品每天產(chǎn)生的事件量是巨大的，如下表所示：

顯然，對于安全管理平臺而言，收集和分析上述海量的安全事件是一個巨大的挑戰(zhàn)，而能否做到這點將直接決定一個安全管理平臺的成敗。同時，安全管理平臺決不能簡單地將這些海量的信息直接展示給客戶，否則，用戶面對這些海量的安全事件將束手無策，管理運維效率將不升反降。此外，大量的安全事件匯聚到一起，根據(jù)其安全屬性的相關(guān)性，可能隱含了新的更嚴(yán)重的安全事件，這種相關(guān)性是管理人員難以用肉眼觀察出來的。安全管理平臺的目標(biāo)就是要收集這些海量事件，并通過有效的分析手段輸出很少量的、真正值得管理員關(guān)注的安全事件。

那么，如何才能有效地分析這些海量的異構(gòu)安全事件？安全事件關(guān)聯(lián)分析應(yīng)運而生。

2 事件關(guān)聯(lián)分析介紹

2.1 信息安全事件定義

什么叫做信息安全事件？根據(jù)ISO18044和ISO27001，信息安全事件是指被識別的一種系統(tǒng)、服務(wù)或網(wǎng)絡(luò)狀態(tài)的發(fā)生，表明一次可能的信息安全策略違反或某些防護措施失效，或者一種可能與安全相關(guān)但以前未知的情況。

在本文中，信息安全事件簡稱事件，尤指由IT系統(tǒng)自動產(chǎn)生的各種事件。

2.2 事件關(guān)聯(lián)分析定義

IT范疇內(nèi)的事件關(guān)聯(lián)分析（Event Correlation Analysis）最早來自網(wǎng)絡(luò)管理領(lǐng)域，通過綜合分析各種網(wǎng)絡(luò)告警信息，用于尋找網(wǎng)絡(luò)故障的根本原因。

定義1（來自Wiki百科）：事件關(guān)聯(lián)是指找出大量事件中存在的關(guān)系，并從這些大量事件中抽取出真正重要的少量事件。

伴隨著網(wǎng)絡(luò)安全的發(fā)展，尤其是受到傳統(tǒng)IDS大量漏報、誤報、錯報安全事件的影響，出現(xiàn)了基于網(wǎng)絡(luò)安全數(shù)據(jù)融合技術(shù)的分布式IDS。而伴隨著前面所述的安全建設(shè)新階段的到來，安全信息與事件管理系統(tǒng)（SIEM）和安全管理平臺（SoC）也紛紛出現(xiàn)。在這些系統(tǒng)的設(shè)計中都逐步引入了事件關(guān)聯(lián)分析的概念。

定義2：事件關(guān)聯(lián)分析是指用戶將海量的來自異構(gòu)數(shù)據(jù)庫源的安全事件進行相關(guān)性分析，定位真正的安全事故點的過程。

定義3（來自NIST SP800-92）：事件關(guān)聯(lián)是指在兩個或更多個日志（事件）中找到它們之間的關(guān)系。

根據(jù)上述定義，事件關(guān)聯(lián)分析包括兩層含義：

1) 將大量的安全事件過濾、壓縮、歸并，提取出少量的、或者是概括性的重要安全事件，相當(dāng)于“關(guān)聯(lián)分析中的事件量變”；

2) 從大量的安全事件之中發(fā)掘隱藏的相關(guān)性，產(chǎn)生新的不在之前事件之中的安全事件，相當(dāng)于“關(guān)聯(lián)分析中的事件質(zhì)變”。我們知道，外部入侵和內(nèi)部違規(guī)行為從來都不是單一的行為，都是有時序或者邏輯上的聯(lián)系的，黑客的攻擊和內(nèi)部的違規(guī)操作往往是分為若干步驟的，每個步驟都會在不同的設(shè)備和系統(tǒng)上留下蛛絲馬跡，單看某個設(shè)備的日志可能無法發(fā)現(xiàn)問題，但是將所有這些信息合到一起，就可能發(fā)現(xiàn)其中的隱患，而這正是關(guān)聯(lián)分析的目的所在。

2.3 事件關(guān)聯(lián)分析在安全管理平臺（SoC）中的位置

事件關(guān)聯(lián)分析在安全管理平臺（SoC）中位于核心位置，屬于SoC的核心技術(shù)點。

1) 事件關(guān)聯(lián)分析實現(xiàn)海量安全事件的抽取、降噪，剝離無用信息，提升后續(xù)安全管理工作的效率，降低安全管理工作的復(fù)雜性；

2) 事件關(guān)聯(lián)分析是風(fēng)險分析的基礎(chǔ)，關(guān)聯(lián)分析的結(jié)果導(dǎo)出的關(guān)聯(lián)事件可以提升為威脅，從而參與風(fēng)險計算，并且實現(xiàn)風(fēng)險計算自動化、定量化；

3) 事件關(guān)聯(lián)分析是計算機安全事故（Incident）應(yīng)急響應(yīng)處理流程的關(guān)鍵步驟。

2.4 事件關(guān)聯(lián)分析的關(guān)鍵特性

在安全管理平臺（SoC）中，完整的事件關(guān)聯(lián)分析包括了事件采集、事件歸一化、事件關(guān)聯(lián)分析引擎、預(yù)警響應(yīng)、事件存儲等幾個部分。其中，最核心的就是事件關(guān)聯(lián)分析引擎。

事件關(guān)聯(lián)分析至少具有以下三個關(guān)鍵特性：

1) 海量事件處理能力：是指關(guān)聯(lián)分析能夠高效地采集海量的異構(gòu)安全事件，并能夠進行關(guān)聯(lián)匹配和輸出，還能夠?qū)踩录M行可視化展示，以及將海量安全事件和告警信息進行及時地存儲；

2) 實時性：是指關(guān)聯(lián)分析的整個處理過程必須保持實時、不間斷的工作；

3) 基于規(guī)則的：是指關(guān)聯(lián)分析的核心引擎至少應(yīng)該包括一套實時高速的規(guī)則引擎，實現(xiàn)模式匹配，這也是“關(guān)聯(lián)分析中的事件質(zhì)變”的要求。

3 實現(xiàn)事件關(guān)聯(lián)分析引擎

事件關(guān)聯(lián)分析引擎是關(guān)聯(lián)分析的核心技術(shù)部件，如何實現(xiàn)事件關(guān)聯(lián)分析引擎將直接決定關(guān)聯(lián)分析的效果，以及一個安全管理平臺（SoC）產(chǎn)品的成敗。因此，文本將重點描述事件關(guān)聯(lián)分析引擎的實現(xiàn)，對于事件采集和歸一化，將令文論述，或者參見 http://www.legendsec.com/newsec.php?up=3&cid=99上的介紹。

關(guān)聯(lián)分析引擎是一個典型的數(shù)據(jù)處理系統(tǒng)。因而，根據(jù)一般的經(jīng)驗，首先會想到的就是利用數(shù)據(jù)庫系統(tǒng)來實現(xiàn)關(guān)聯(lián)分析引擎。但是，關(guān)聯(lián)分析引擎面對的數(shù)據(jù)不是一般的數(shù)據(jù)，這里的數(shù)據(jù)（事件）具有海量、實時和流的特征，因而，使用數(shù)據(jù)庫系統(tǒng)的關(guān)聯(lián)分析引擎無法達(dá)到實時高速的目標(biāo)。

如上圖所示，借助數(shù)據(jù)庫管理系統(tǒng)（例如關(guān)系型數(shù)據(jù)庫），事件關(guān)聯(lián)分析主要就是使用SQL語句來實現(xiàn)。由于數(shù)據(jù)庫系統(tǒng)都是基于磁盤來存儲數(shù)據(jù)的，包括它的各種性能優(yōu)化都是基于磁盤訪問來設(shè)計的，因而，借助數(shù)據(jù)庫的關(guān)聯(lián)分析引擎無論如何也難以保證分析性能。例如一個關(guān)聯(lián)規(guī)則需要在1秒鐘內(nèi)通過SQL語句獲取10個數(shù)據(jù)，那么關(guān)聯(lián)分析引擎就需要在1秒內(nèi)進行10次磁盤存取，難以符合高性能的要求。

有的內(nèi)存數(shù)據(jù)庫系統(tǒng)雖然可以在性能上有所提升，但是由于數(shù)據(jù)庫的表、字段、索引等設(shè)施都是為了事務(wù)（Transaction）處理而設(shè)計的，難以高效的處理具有流性質(zhì)的數(shù)據(jù)（事件）。必須指出的是，流數(shù)據(jù)具有一次寫多次讀（WORM）的特性。

更重要地，使用數(shù)據(jù)庫來實現(xiàn)關(guān)聯(lián)分析引擎無法真正實現(xiàn)模式匹配。考慮如下一個常見的模式匹配要求：“請找出在1分鐘內(nèi)登錄服務(wù)器X失敗達(dá)到3次以上的源IP”。如果利用數(shù)據(jù)庫來實現(xiàn)，那么關(guān)聯(lián)分析引擎將不得不每隔一個時間間隔去進行SQL訪問，找到某個時刻符合要求的事件記錄（如上圖所示）。可見，在這種方式，難以滿足實時不間斷關(guān)聯(lián)分析的要求。

也許設(shè)計者會考慮使用數(shù)據(jù)庫的觸發(fā)器。但是，數(shù)據(jù)庫觸發(fā)器也不是為了處理流數(shù)據(jù)而設(shè)計，無法為觸發(fā)器設(shè)定復(fù)雜的關(guān)聯(lián)規(guī)則條件。

因此，一個事件關(guān)聯(lián)分析引擎必須采用新的技術(shù)——流數(shù)據(jù)處理技術(shù)來實現(xiàn)。

如上圖所示，是一個基于流數(shù)據(jù)處理的關(guān)聯(lián)分析引擎工作示意圖。首先，這個關(guān)聯(lián)分析引擎是在內(nèi)存中進行的，關(guān)聯(lián)分析引擎分析的事件流是在內(nèi)存中，與事件入庫持久化存儲分離。其次，關(guān)聯(lián)分析引擎是一個不間斷工作的實時引擎。它不斷地讀取事件流，利用狀態(tài)機（State Machine）的技術(shù)進行模式匹配（Pattern Match），實現(xiàn)實時事件關(guān)聯(lián)。

在這個技術(shù)原型架構(gòu)之下，事件流相對于關(guān)聯(lián)分析引擎就相當(dāng)于一個“流數(shù)據(jù)庫”（Steaming Database）。這個流數(shù)據(jù)庫與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫具有以下區(qū)別：

因此，基于數(shù)據(jù)庫的關(guān)聯(lián)分析引擎只能是一個被動工作的引擎、基于對數(shù)據(jù)的查詢，是離散的，不連續(xù)的，難以保證效率和實時性。而基于流數(shù)據(jù)的關(guān)聯(lián)分析引擎則是一個主動工作的引擎，基于事件查詢和模式匹配，是連續(xù)的，能夠保證效率和實時性。

對于安全管理平臺（SoC）而言，在利用關(guān)聯(lián)分析引擎進行實時事件分析的同時，也具備對事件進行歷史分析的功能。因而，在安全管理平臺中，數(shù)據(jù)庫也是需要的，數(shù)據(jù)存儲也是需要的，并且用于進行歷史事件挖掘（Data Mining）、模式發(fā)現(xiàn)（Pattern Discovery）等。

除了要基于流數(shù)據(jù)處理技術(shù)，關(guān)聯(lián)分析引擎還必須具備一套較為完備的模式匹配技術(shù)。模式匹配就是基于規(guī)則的狀態(tài)機系統(tǒng)。

4 網(wǎng)神SMART事件關(guān)聯(lián)分析引擎架構(gòu)

作為一個關(guān)聯(lián)分析引擎的實例，下面簡要介紹一下網(wǎng)御神州的SMART引擎架構(gòu)。

網(wǎng)御神州經(jīng)過多年的研究與開發(fā)，早在2006年就研制成功了一套獨具特色的事件關(guān)聯(lián)分析引擎，即SecFox獨有的基于安全監(jiān)測、告警和響應(yīng)技術(shù)（Security Monitor, Alert and Response Technology，簡稱SMART）的事件關(guān)聯(lián)分析引擎。在關(guān)聯(lián)規(guī)則的驅(qū)動下，SMART事件關(guān)聯(lián)分析引擎能夠?qū)Ａ渴录鲗崟r高速地進行多種方式的事件關(guān)聯(lián)，包括統(tǒng)計關(guān)聯(lián)、時序關(guān)聯(lián)、單事件關(guān)聯(lián)、多事件關(guān)聯(lián)、遞歸關(guān)聯(lián)，等等。作為國內(nèi)絕對領(lǐng)先的事件關(guān)聯(lián)分析核心技術(shù)，SMART引擎已經(jīng)申請了多項專利技術(shù)，擁有完全自主知識產(chǎn)權(quán)。

如下圖所示，給出了SMART引擎的總體架構(gòu)。

SMART引擎最大的特色是充分利用了多核CPU的并行處理能力，實現(xiàn)了高性能的模式匹配。目前，該引擎已經(jīng)應(yīng)用于網(wǎng)神SecFox安全管理系列產(chǎn)品，包括作為下一代安全管理平臺（SoC2.0）的SecFox-UMS統(tǒng)一管理系統(tǒng)，以及SecFox-LAS日志審計系統(tǒng)和SecFox-NBA數(shù)據(jù)庫審計系統(tǒng)。在日志審計的時候，SMART充當(dāng)了日志合規(guī)性審計引擎，而在數(shù)據(jù)庫審計的時候，SMART充當(dāng)了行為審計引擎。對于網(wǎng)神SecFox安全管理系統(tǒng)中的SMART引擎，在采用雙Intel XEON4核CPU、4GB內(nèi)存、無RAID的基準(zhǔn)硬件配置下，前端的事件收集性能峰值超過30000EPS（Event per Second，事件數(shù)每秒，簡稱EPS），事件關(guān)聯(lián)分析性能達(dá)到6000EPS（開啟默認(rèn)規(guī)則）。并且，隨著硬件配置提升，性能還能繼續(xù)提高。

5 SoC2.0時代的事件關(guān)聯(lián)分析及其應(yīng)用

在SoC2.0時代，安全將更加緊密地與客戶業(yè)務(wù)進行融合，不僅體現(xiàn)在風(fēng)險與運維管理的思想和方法論上，更體現(xiàn)在安全管理平臺的落地上。

在SoC2.0時代的初期，安全管理平臺首先將成為一個面向業(yè)務(wù)的系統(tǒng)，即針對承載業(yè)務(wù)運行的IT支撐系統(tǒng)及其資源進行監(jiān)測、分析和運維。在這個時期，安全管理平臺的關(guān)聯(lián)分析引擎更多地是對來自IT資源的工作日志和告警事件進行相關(guān)性分析，分析業(yè)務(wù)系統(tǒng)運行是否正常，是否面臨惡意攻擊，是否發(fā)生了信息泄漏。

在SoC2.0的第二個階段，安全管理平臺在實現(xiàn)IT安全管理的同時，將更多地成為一個IT安全合規(guī)管理平臺。此時，安管平臺的關(guān)聯(lián)分析引擎將針對IT資源日志中與業(yè)務(wù)相關(guān)的信息，以及部分業(yè)務(wù)自身運行日志進行相關(guān)性分析，發(fā)現(xiàn)業(yè)務(wù)人員的操作異常或違規(guī)。例如，發(fā)現(xiàn)內(nèi)部IT人員竊取公司的員工工資數(shù)據(jù)庫信息，修改公司的客戶記錄，等等。

在SoC2.0的第三個階段，安全管理平臺將與業(yè)務(wù)深度融合，實現(xiàn)針對業(yè)務(wù)的安全管理，成為一個業(yè)務(wù)風(fēng)險與合規(guī)管理平臺。例如，借助此時的關(guān)聯(lián)分析引擎去發(fā)現(xiàn)異常的銀行交易，協(xié)助銀行識別金融欺詐或者洗錢交易。

注意，SoC2.0的這三個發(fā)展階段不是替代關(guān)系，而是覆蓋關(guān)系，安全管理平臺的外延將不斷擴大，逐步與業(yè)務(wù)融合。

由上不難發(fā)現(xiàn)，事件關(guān)聯(lián)分析將始終作為安全管理平臺的核心技術(shù)，不斷向前發(fā)展。而一個成熟的、高速的、實時關(guān)聯(lián)分析引擎將構(gòu)筑起安全管理平臺的核心競爭力。

6 小結(jié)

本文詳細(xì)闡述了安全管理平臺（SoC）下的安全事件關(guān)聯(lián)分析及其核心技術(shù)，以及關(guān)聯(lián)分析引擎的作用、設(shè)計思想和基本技術(shù)架構(gòu)。

按照SoC2.0的基本要求，事件關(guān)聯(lián)分析引擎是整個安全管理架構(gòu)的核心技術(shù)，具有舉足輕重的作用，安全管理平臺自動化、精確化、實時化水平的提升很大程度上有賴于事件關(guān)聯(lián)分析引擎。

當(dāng)然，對于安全管理平臺而言，僅有關(guān)聯(lián)分析引擎還是遠(yuǎn)遠(yuǎn)不夠的，還需要其他各部分平臺組件的配合，并且還需要不同角色的參與者的支持。安全管理平臺要能夠真正得以運用，除了需要平臺及其引擎的開發(fā)者參與，還需要能夠?qū)懗鲫P(guān)聯(lián)規(guī)則的領(lǐng)域知識專家，需要負(fù)責(zé)系統(tǒng)實施前期規(guī)劃的業(yè)務(wù)領(lǐng)域?qū)＜摇㈨椖繉嵤┡c運維團隊。當(dāng)然，一定還需要用戶的參與。可見，安全管理平臺是一個很大的用例（Use Case）。