一、背景

1. 威脅情報庫建設的背景和需求

1) 新時代攻防趨勢與需求的變化。

隨著互聯網特別是移動互聯網的發展，網絡環境愈發復雜，不同的攻擊行為更具產業化、團伙化，入侵手法也愈發多樣化與復雜化，傳統以防御漏洞為主的安全策略在面對層出不窮的新型、持續性、高級威脅時難以及時有效的檢測、攔截和分析。安全攻防需求逐漸從傳統的、以漏洞為中心進化為主動型、以情報為中心的建設模式。

2) 銀聯本身業務的要求。

虛假注冊、批量綁卡、惡意刷單刷券等各種惡意行為會影響企業相關產品的日常運營和營銷推廣，而傳統金融行業自身缺乏與互聯網相關的安全數據，需要高質量的情報數據支持相關的風險防控工作。因此，需要把安全跟業務相結合，引入跟風控等業務相關的威脅情報，幫助提升公司的風險防控能力。

2. 現有威脅情報庫

威脅情報庫的數據來源分為三方面，包括內部情報、專業機構和行業聯盟。內部情報包括傳統安全設備的攔截、后臺SIEM等安全分析系統的分析以及業務風控系統的發現;專業機構會提供所處專業的多源情報，根據每家機構的專業特點進行互補，并在情報沖突時對數據進行研判;行業聯盟的威脅情報共享目前正在研究探索中。內部情報、專業機構和行業聯盟這三方面的數據聚合后，形成本地庫，進行處理后，最終將數據結果反饋給最上層的應用層，推送給后臺應用、防御設備或者人工調用。在綜合考慮威脅情報庫需求后，我們對國內相關廠商進行調研測試，最終選擇北京微步在線科技有限公司旗下本地威脅情報管理平臺作為銀聯威脅情報庫的載體平臺。

威脅情報庫的建立，一方面能夠協助我們及時察覺黑客或惡意攻擊者的各類戰術、方法、行為模式，掌握針對支付場景的最新攻擊動向，高效預防和處理各類網絡風險安全事件;另一方面高質量的情報數據能夠為風險防控提供有力支持，實現對外部網絡異常訪問行為的精確識別。它對于防守方安全風控團隊及時掌安全態勢并做出正確響應具有重要價值。

二、研究目標

在威脅情報的應用過程中，我們發現仍然有一些問題有待解決。

1. 情報合法有序共享

當情報庫建立之后，情報共享的需求馬上就被提出。與公司內部、行業機構等進行情報共享，一方面能夠快速實現威脅感知能力的提升和風險共擔，另一方面情報的合法有序共享，也有利于整個生態的健康持續運轉，降低運行成本。

2. 私有情報生產

銀聯是典型多職場、多組織協同防御的結構，擁有較多安防設備且對攻擊敏感，會有海量的告警信息，如何從海量告警信息中獲取真實的攻擊行為是一個大的挑戰。同時來自外部的威脅情報數據無法完全支撐對于真實攻擊的檢測、阻斷和溯源分析，攻擊者對于外圍資產實施跳躍式攻擊時，也可能導致聯動防御困難。在這些場景中，我們對威脅情報數據和威脅情報生產均有強需求。

為了實現這兩個目標，我們進行了情報共享技術和全流量威脅狩獵的研究。

三、情報共享技術研究

1. 情報上傳下達的基本邏輯

在現有情報庫部署情報管理平臺，各分支機構部署分支情報管理平臺，總控推送情報到各分支，各分支私有情報自動上報到總控，總控可控制是否將各分支上報私有情報進行二次分發。

整體方案主要由核心情報管理平臺和下游情報管理平臺兩部分組成：

核心情報管理平臺主要作用包括接收云端情報用于情報查詢;向下游情報管理平臺分發情報;接收下游情報管理平臺匯報情報;自有情報錄入，用于情報查詢與分發。

下游情報管理平臺主要功能包括自有情報錄入，用于情報查詢與匯報;向核心情報管理平臺匯報本地錄入情報;接收核心情報管理平臺分發的情報。

對于擁有自有情報平臺的機構，情報管理平臺可以采用行業同行的標準進行情報的交換。

2. 情報完整流轉流程

依據銀聯威脅情報庫結構，首先從內部日志、行業情報和聯盟數據中自動生成、篩選情報，并從云端拉取社區情報和定期情報更新，開啟協同研判功能后，威脅情報庫會自動通過加密信道從云端拉取附加信息并與本地簡版私有情報合并，最終形成完整威脅情報形態。本地私有情報可直接查看、刪除、導出和應用到第三方系統中。

協同研判過程中，威脅情報團隊成員將共同補全攻擊組織手法，最終形成自主的攻擊者畫像數據庫;情報管理平臺支持單一情報的多個情報源數據橫向對比查看，多角度綜合評估情報全貌，然后通過 Restful API 將威脅能力共享，實現總控和各分支之間的推送、上報和可控的二次分發。

威脅情報庫會根據機讀情報、高級報告和月報、第三方機讀情報、用戶手工導入的私有情報以及全球多個開源情報的統一存儲、檢索和對比自動補充輔助信息，并使用統一的生命周期管理情報從產生、使用、靜默與消亡的完整過程。

3. 技術的重點和難點

該項目開發和部署測試過程中，也發現很多重要節點和技術難點，經過充分研討與貼合實際需求進行評估后一一突破，其中包括有：

1) 如何構建和落地24*7全自動的多機構情報共享和消費機制

該目標由核心情報管理平臺下發情報、下游情報管理平臺寫入、上報、消費情報等過程組成，其中重點在于搞清楚誰向下游情報管理平臺寫情報，下游情報管理平臺的情報被誰消費以及怎么消費。

“誰向下游情報管理平臺寫情報”：除了核心情報管理平臺外，下游機構其實并沒有直接、準確的情報可被寫入，實際可寫入的是下游機構網絡環境中部署的安全設備產生的告警，當眾多下游機構上報告警后，核心情報管理平臺可以根據智能策略實時動態生成行業威脅情報，例如：下游機構網絡不連續的情況下，某個外部IP連續攻擊多個下游機構，該攻擊IP就相當可疑，根據策略生產為行業情報，并推送給其他暫未感知到風險的下游機構。

“下游情報管理平臺的情報被誰消費、以及怎么消費”： 一些敏感業務例如支付口、登錄口都可以使用推送的情報進行主動防御，即使來自攻擊IP的用戶提供正確的用戶名密碼，業務仍然強制要求上下行短信驗證，對于某些類互聯網行業的抽獎活動，還可以降低其所在網段的中獎幾率，在不得罪用戶、不打斷業務的前提下保障業務安全性。

2) 如何解決分支機構情報沖突和誤報

情報沖突問題是該項目一開始未充分考慮的問題，但是在測試部署中，我們發現有些IP被不同分支機構分別標記為白名單和惡意地址，造成下游機構問問題，經過排查發現主要原因為：A機構將自身辦公網出口地址標記為白名單，但其辦公網內存在蠕蟲病毒，通過辦公網出口掃描其他機構，又其他機構或被標記為惡意;

情報誤報問題主要由于多個下游機構采購相同廠家的安全產品，同類安全產品誤報后通過下游情報管理平臺上傳到核心情報管理平臺，造成誤判問題，這類問題后續計劃通過增加鑒別安全設備類型實現進一步規避。

3) 歸一化安全設備日志格式問題

由于各下游機構采購安全設備的多樣性，必然導致日志歸一化問題，該問題目前沒有十全十美的解決方案，在下游情報管理平臺入口處使用技術手段進行統一格式處理目前是可行方案。

四、全流量威脅狩獵

1. 威脅狩獵的定義和流程

威脅狩獵是企業機構基于威脅情報的自我查驗。威脅狩獵需要提前掌握攻擊者某些基本模糊特征和線索，即威脅情報，然后基于情報，通過旁路流量檢測、系統日志檢測或主機行為檢測來挖掘正在進行的攻擊行為或已經失陷的內網主機，其效果隨著線索或情報的準確性、及時性和多樣性而變化。

威脅狩獵流程(流程圖)

2. 威脅狩獵的技術重點和難點

威脅狩獵技術重點和難點主要來源于以下三個方面：

1) 如何獲取準確、及時和多樣的具備大量輔助上下文的威脅情報;

針對威脅情報準確性、及時性和多樣性的需求，威脅情報庫采取多源威脅情報的收錄和管理，本地情報平臺應至少能裝載四種情報類型、具備兩種情報能力，具體包括多源機讀情報、高級人讀報告、漏洞情報、自定義情報等，情報能力應包括情報代理能力、本地生產情報能力等，此外，情報共享和級聯正是保證威脅狩獵成功進行的關鍵能力之一。

2) 如何對拓展出的更多線索進行自動化篩查，并將有效線索進一步轉化為情報;

情報輔助上下文是不可忽略的重點，機讀情報字段的豐富性決定該威脅情報是否可實際落地，現有情報精確刻畫該攻擊行為或團伙特征，包括但不限于發現時間、端口協議、嚴重級別、URL、相關樣本、域名屬主、家族標簽、針對行業等30多個字段，相比之下，僅提供一份黑名單，沒有任何輔助上下文信息開源情報幾乎無法在金融生產環境中使用。自動化篩查和有效線索轉化為情報，主要考驗的是我們威脅情報庫的私有威脅情報本地化生產能力。

3) 如何將威脅情報落地于旁路流量檢測、系統日志檢測或主機行為檢測產品中。

這就要求我們開放對外部SIEM/SOC數據平臺、防火墻或WAF設備、主機管理產品、路由和交換設備以及其他安防產品的聯動。并分析特定場景的設備聯動，對于命中的高危情報，調用下游設備實現阻斷，推動情報從檢測、響應場景到全面的安全防護。

3. 全流量威脅狩獵技術

通過對接入數據源、底層軟硬件架構、大數據標準化處理、模型算法，以及頂層安全業務應用的系統規劃，依托威脅情報大數據知識圖譜技術、高級入侵檢測與分析技術、黑客畫像與追蹤溯源技術、情報數據共享技術、響應策略自動化編排與處置技術等核心技術，構建覆蓋全行業網絡的威脅檢測分析、威脅事件線索提取、攻擊者畫像與溯源分析、威脅阻斷響應與協同聯動等完整閉環解決方案，形成以威脅情報數據為驅動的檢測、分析、響應、溯源、預測能力。

1) 接入數據源

對企業相關網絡邊界的出入站雙向流量、內網各區域之間橫向東西向流量進行全面采集，由流量采集器通過流量鏡像方式，對網絡內產生流量的所有全量數據進行實時采集，主要采集數據包括流量信息、流量中還原的payload或文件、終端日志數據等三類，其中，流量信息包含DNS、HTTP、TCP、SMTP、POP3、RSYNC、RDP、TFTP等8項協議;DNS日志包括Request與Response雙向日志中的解析域名、查詢類型、源地址與端口、目的地址與端口等信息。據此形成全流量威脅持續檢測接入數據。

基于威脅情報做日志關聯分析

2) 軟硬件與數據解析基礎組件

依托微服務、分布式集群、海量數據存儲、消息隊列等大數據軟硬件基礎組件，構建“松耦合、高內聚”的底層大數據架構，采用ElasticSearch、Hadoop、Spark、Kafka等開源分布式技術，解決海量數據接入、解析、分析、存儲、輸出等關鍵環節并發瓶頸問題，能夠根據檢測環境進行動態擴展。

對于接入原始流量的數據接入形式，系統需要將原始流量中的二進制數據解析成結構化的DNS報文。對常見的流量解析工具(包括Bro、Suricata等)調研測試后發現并不適用于DNS解析場景，原因在于 1.此類工具架構設計上針對全流量解析，為了兼容其他協議特性，很大一部分系統資源用于數據流Session維護、流量緩存等，這在DNS解析過程中屬于不必要的系統開銷。2.此外，DNS數據報文長度較小，相同流量下QPS較高，在Bro和Suricata上性能測試結果不夠理想。因此本系統在技術路線上采用自研抓包模塊，針對DNS的協議特性進行性能優化。

3) 威脅檢測分析模型

該架構擁有威脅檢測模型十類，包括基于威脅情報的大數據碰撞模型、DNS隱蔽信道檢測模型、動態沙箱檢測模型、DGA隨機域名生成檢測模型、內網橫向滲透檢測模型、深度學習算法自學習檢測模型等。檢測覆蓋階段包括嗅探、漏洞利用、武器投遞、遠控、橫向移動、對外攻擊、行動(勒索、挖礦、數據竊取)，識別的攻擊與威脅類型至少包括：端口掃描、應用掃描、子域名暴破、遠程溢出、WEB攻擊、SQL注入、配置漏洞、命令注入、CC破壞性攻擊、XSS、SSRF、文件泄露、目錄遍歷、暴力破解、網頁木馬、木馬執行、webshell、僵木蠕檢測、高危漏洞利用、勒索軟件、挖礦木馬、高級APT組織、隱蔽信道通信等。

依托可視化關聯分析技術，對威脅情報、網絡原始日志、終端日志、告警日志進行關聯分析，從攻擊者視角完整還原攻擊路徑，從被控主機視角完整描繪被控主機網絡行為，完整呈現威脅全貌。

五、研究的產出和意義

1. 安全建設保障延續性

在原有情報管理平臺與威脅檢測平臺上，附加更多的能力，基于現有能力不斷升級，保證原有能力的持續運營，與新技術的無縫銜接，保證持續有效的安全建設。

2. 增加全網威脅可見性

在原有威脅檢測平臺邊界檢測失陷主機的能力上，增強流量的覆蓋度，覆蓋內網流量，并應用流量文件還原技術、引擎與動態沙箱技術、機器學習技術等提升檢測能力，對威脅攻擊過程進行分析狩獵，提升對內網中威脅與全攻擊過程的可見性。

3. 行業情報共享，增強響應能力

在原有情報管理平臺整合情報與提供情報檢測接口的能力上，增強行業情報共享能力、提供批量接入挖掘情報的接口，并建設與現有安全設備聯動的能力，基于威脅情報進行自動化的響應。

4. 對于整個網絡安全威脅情報共享體系建設發展的意義

在前期威脅情報中心能力之上，增強流量監控與威脅狩獵分析能力，精準定位攻擊全過程;同時提升情報挖掘能力，并在行業情報共享機制進行探索研究，為將來的實踐應用奠定理論和技術基礎。