1.入侵檢測系統分類

入侵檢測系統是監視和分析網絡通信的系統，通過主動響應來識別異常行為。按照不同的劃分標準，可以將入侵檢測系統分為不同的類別，如圖1所示。

1.1 基于部署方式

根據系統部署的位置不同，入侵檢測技術可以被分為基于主機的入侵檢測（Host-based Intrusion Detection System，HIDS）和基于網絡的入侵檢測（Network-based Intrusion Detection System，NIDS）。

HIDS位于網絡中的單個設備上，監視主機系統的操作或狀態，檢測系統事件以發現可疑的活動，例如未經授權的訪問或安裝。HIDS的優點是能夠在發送和接收數據前通過掃描流量活動來檢測內部威脅。但是，部署HIDS會影響設備資源，而且保護范圍僅限于單個設備，無法觀測到網絡流量來分析與網絡相關的行為信息。因此，HIDS并不是大規模網絡的有效安全解決方案。

NIDS觀察并分析實時網絡流量和監視多個主機，旨在收集數據包信息，以檢測網絡中的入侵行為。NIDS 的優點是只用一個系統可以監視整個網絡，節省了在每個主機上安裝軟件的時間和成本。缺點是 NIDS 難以獲取所監視系統的內部狀態信息，導致檢測更加困難。

1.2 基于檢測技術

根據檢測技術可以將入侵檢測劃分為基于簽名的網絡入侵檢測（Signature-based Network Intrusion Detection System，SNIDS）和基于異常的網絡入侵檢測(Anomaly- based Network Intrusion Detection System，ANIDS)。

• SNIDS先提取網絡流量有效載荷中的字節序列，然后采用模式匹配算法，將提取的簽名與預定義的已知惡意序列數據庫進行匹配，一旦命中即發出告警信息來預示異常行為。SNIDS的優點是出錯率低。然而，SNIDS高度依賴已有的簽名知識庫，難以檢測未知攻擊，無法適應新的智能攻擊行為。此外，混淆字節簽名可以有效繞過SNIDS。
• ANIDS是在網絡流量中監測發現不符合預期正常行為的異常模式，當檢測行為與正常行為偏離較大時，發出告警信息。ANIDS由于不依賴固定簽名進行檢測，能夠抵御零日攻擊和簽名混淆。然而，由于網絡流量的多樣性，這往往導致ANIDS出現較高的假陽性率。而且容積率高，很難找到正常和異常配置文件之間的邊界以進行入侵檢測。此外，ANIDS容易受到模仿攻擊，即攻擊者修改攻擊特征，使其與良性特征相似。

1.3 基于數據來源

根據數據來源，可以將入侵檢測技術分為基于數據包（Packet-based）、基于流（Flow-based）、基于會話（Session-based）和基于日志（Log-based）四種類別[1]。

• 基于數據包的 IDS：它是在網絡數據包級別工作的 IDS 類型之一，可以實時檢查網絡流量的各個數據包并分析其內容以識別安全威脅。
• 基于流的 IDS：它是在網絡流級別工作的 IDS 類型之一，可以將流定義為共享一些常見屬性的數據包序列，例如源端口、源 IP 地址、目標端口、目標 IP 地址、傳輸層協議和時間間隔。
• 基于會話的 IDS：它是在網絡會話級別工作的 IDS 類型之一。會話定義為在一段時間內在兩臺主機之間交換的數據流，通常使用特定協議，例如 TCP 或 UDP。
• 基于日志的 IDS：它是在系統日志級別工作的 IDS 類型之一。它分析系統日志文件以檢測安全威脅，例如未經授權的訪問、惡意軟件感染或系統配置錯誤。

圖片

圖1 IDS分類

2.數據集

通常，數據集以兩種不同的格式收集，基于數據包和基于流[1]。基于數據包的數據通常從 PCAP文件中獲取，該文件使用特殊類型的軟件（如 astcpdump 和 Wireshark.PCAP 跟蹤）捕獲網絡流量，包括有效負載在內的所有數據包信息。基于流的數據是由流構建的，流被定義為滿足相同匹配特征的數據包流。

圖片

3.基于機器學習的網絡入侵檢測

傳統的網絡入侵檢測具有適應能力差、拓展性不夠等缺陷，在具體應用中依然存在較大的問題。機器學習具有較強的靈活性、適應性，為入侵檢測提供新的發展方向。機器學習算法主要包括決策樹（DecisionTree，DT），樸素貝葉斯(Naive Bayes)，支持向量機(Support Vector Machine，SVM)，集成學習等，通過提取數據的特征進行入侵行為的檢測。

（1）基于決策樹：計算復雜度低，結構簡單易懂，因此，在入侵檢測領域具有廣泛應用。常見的決策樹算法有ID3、C4.5、CART等。文獻[3]利用NSL-KDD數據集對ID3、C4.5、CART、REP Tree 和 Decision Table五種決策樹算法進行對比研究。結果表明，C4.5算法效果最好，分類準確率達到99.56%，并且當使用信息增益特征選擇技術時，其精度達到99.68%。然而，由于該文獻僅選擇NSL-KDD訓練集，并使用保留方法而不是NSL-KDD測試集進行測試，因此很難測試該算法的泛化能力。

（2）基于樸素貝葉斯：樸素貝葉斯算法是由Bayes定理導出的，具有堅實的數學基礎。文獻[4]首先使用IPCA對KDD99數據集進行預處理，然后使用Gaussian Naive Bayes算法進行檢測。從實驗結果來看，當檢測準確率為91%時，只需0.562s即可完成訓練模型和測試數據。這一結果對入侵檢測的實時監控研究具有重要意義。

（3）基于支持向量機：SVM可以更好地解決小樣本問題，具有強大的泛化能力，被認為是更有效的入侵檢測算法。文獻[5]提出了FRST-SVM模型，該模型利用模糊粗糙集理論從數據中提取特征。FRST-SVM模型實現了高精度、快速的識別，減輕了系統負擔。文獻[6]使用SVM對數據集進行初始分類，然后將分類結果作為基于密度的聚類算法的輸入進行子分類。盡管實驗結果很好，但該模型結構復雜，并且是基于小數據集提出的。當數據量巨大時，會暴露出支持向量機訓練時間長的缺點，因此不具有普遍性。

（4）基于集成學習：在機器學習中，為了避免算法在處理不同數據集時的偏好，可以將不同的弱監督學習算法組合起來形成強監督學習算法，即集成學習算法。文獻[7]提出了使用CFS來降低數據集的維數，然后用Bagging隨機森林和Adaboost隨機森林進行實驗。結果表明，這兩個模型在KDD99和NSL-KDD數據集上都達到了99%以上的準確率。文獻[8]提出了XGBoost-RF模型來處理數據不平衡的問題。首先，XGBoost算法用于對數據集中相對重要的特征進行評分，然后使用具有更新權重的隨機森林算法進行攻擊檢測。該模型通過特征選擇和權重調整可以充分訓練少量重要數據。

基于機器學習技術的入侵檢測優點是能夠充分利用先驗知識，明確地對未知樣本數據進行分類。缺點是訓練數據的選取評估和類別標注需要花費大量的人力和時間。

4.基于深度學習的網絡入侵檢測

傳統的機器學習方法通常需要人工選取特征，且需要大量的領域專業知識，是較為淺層的學習方法。而深度學習方法學習的是樣本數據的內在規律和表示層次，構建多個隱藏層組建的非線性網絡結構能夠適應較高維度學習和預測的要求，效率更高，節省了大量特征提取的時間，可以根據問題自動建立模型，不局限于某個固定的問題，在解決入侵檢測問題中很有前景。目前常用的基于深度學習的入侵檢測模型有Deep Neural Networks（DNN）， convolutional neural networks (CNN)，Recurrent Neural Networks (RNN)，自編碼和Generative Adversarial Networks (GAN)等，如圖2所示。

圖片

圖2  深度學習方法

（1）基于DNN：DNN 由多層互連節點組成，這使得它們擅長從大量數據中學習復雜的模式和特征，并適用于入侵檢測任務。文獻[9]將自動編碼器與 DNN 相結合，以學習輸入特征的魯棒表示并增強對不平衡攻擊的檢測

（2）基于CNN：CNN能夠從數據中自主學習特征，此外，CNN 也能處理不同長度的輸入，這在網絡流量分析中至關重要，因為數據包長度通常差異很大。文獻[10]根據相關性將入侵檢測數據分為四部分，然后將四部分數據轉換為灰度圖像，并將其引入多卷積神經網絡進行入侵檢測研究。文獻[11]提出了一種基于focal loss的網絡入侵檢測系統，利用focal loss函數對CNN模型進行訓練，降低了易于分類樣本的權重，平衡了數據類別，有效提高了少數樣本的檢測率。

（3）基于RNN：在入侵檢測中使用RNN考慮了基于時間的關系，將網絡流量分析為一系列事件，在這些事件之間可以有效地識別攻擊。Imrana等[12]使用Bi-LSTM增強了對不同攻擊的檢測。因為 BiLSTM 可以在數據中捕獲更復雜的模式，從而提高性能。2023年，WENHONG W等人[13]針對網絡流量異常檢測中的數據不平衡問題，將雙向長短時記憶網絡（bidirectional Long-short Term Memory，Bi-LSTM）與多頭注意力機制（Multi-Head Attention）相結合，提出了多目標進化深度學習模型，可以通過引入一些少數類的合成數據來提高模型的性能表現。

（4）基于自編碼器：自動編碼器可以有效地處理高維數據，在入侵檢測中應用廣泛。Binbusayyis等[14]提出了一種使用一維卷積自編碼器（1D CAE）的IDS框架來實現較低的特征表示。然后，將此表示與單類支持向量機（OCSVM）結合使用，以檢測異常。Cui等[15]提出，IDS由三部分組成：堆疊式自動編碼器（SAE）用于特征提取，高斯混合模型（GMM）和 Wasserstein 生成對抗（GMMWGAN）模型用于處理類不平衡處理，CNN-LSTM 用于分類。

（5）基于GAN：GAN由生成器和判別器兩部分組成。生成器用于生成模擬真實網絡流量的特征。鑒別器用于區分真實樣本和虛擬樣本。Huang等[16]提出了一種稱為IGN的新方法，該方法將不平衡的數據過濾器和卷積層整合到傳統的GAN框架中，以便為少數類生成新穎且具有代表性的實例。2022年，RAHA S等人[17]應用GAN解決網絡入侵檢測中的類別不均衡問題，為了提高少數類數據的生成質量，基于集成深度學習的思想提出了基于集成的多用戶GAN (EMP-GAN)，減少了模型崩潰的風險，提升了訓練的穩定性。

深度學習能夠有效處理大規模網絡流量數據，相比于淺層的傳統機器學習方法，具有更高的效率和檢測率，但是其訓練過程較復雜，模型可解釋性較差。

5.挑  戰

當前入侵檢測研究的主要挑戰包括數據集老舊、數據不平衡等問題。

（1）數據集老舊。網絡入侵檢測通常要依賴帶標簽的數據集，目前廣泛使用的公開數據集如KDD1999、DARPA1998和DARPA1999，雖然具有代表性，但由于其年代較久遠，已經無法完全反映最新的網絡威脅和攻擊趨勢。近年來，一些新的網絡入侵檢測數據集如CICIDS2018、CIDDS-001、NF-UQ-NIDS-v2等應運而生。這些新數據集不僅包含了更多新型攻擊的樣本，而且更為貼近當今網絡環境，能夠更有效地捕捉到不斷演進的入侵行為。通過采用這些新數據集，研究者可以更準確地評估模型性能，更好地理解和應對當下和未來的入侵挑戰。

（2）數據不平衡。入侵檢測樣本數據中，往往正常樣本數據遠多于入侵樣本數據，這會導致模型在訓練和評估階段的性能不夠穩健。處理類不平衡問題的兩種主要策略：基于數據的方法和基于算法的方法。常見的基于數據的技術包括過采樣和欠采樣，但是欠采樣的方式縮小了整體的樣本數量，而過采樣的方式又容易引發過擬合問題，并不能較好地處理數據不平衡問題。深度學習方法中的GAN 具有強大的生成能力，能夠通過生成異常數據來解決該問題，但是目前這方面的研究還較少。另一方面，可以利用對于不平衡數據集更為敏感的算法。例如，基于樹的方法（如隨機森林）和集成學習方法（AdaBoost、XGBoost），它們能夠自適應地調整節點的權重，可以提高模型的性能并減緩不平衡數據的影響。

6.總  結

隨著信息技術的不斷發展，網絡入侵檢測系統是網絡安全必不可少的防御機制，在學術界和工業界獲得了廣泛的研究。基于機器學習和深度學習的網絡入侵檢測技術是當前研究的熱點之一。在網絡安全不斷面臨威脅的背景下，我們相信通過機器學習和深度學習技術的不懈探索，我們能夠更好地保護我們的網絡資源，確保信息的安全與完整性。

參考文獻

[1] Elsheikh, Mohamed, et al. "Deep Learning Techniques for Intrusion Detection Systems: A Survey and Comparative Study." 2023 International Mobile, Intelligent, and Ubiquitous Computing Conference (MIUCC). IEEE, 2023.

[2] L. A. H. Ahmed, Y. A. M. Hamad and A. A. M. A. Abdalla, "Network-based Intrusion Detection Datasets: A Survey," 2022 International Arab Conference on Information Technology (ACIT), Abu Dhabi, United Arab Emirates, 2022, pp. 1-7, doi: 10.1109/ACIT57182.2022.9994201.

[3] Hota, H.S., Shrivas, A.K, 2014. Decision tree techniques applied on NSL-KDD dataand its comparison with various feature selection techniques. Adv. Comput.Netw. Inform.1.205-211.

[4] Zhang, B, Liu, Z.Y, Jia, Y.G, Ren, J.D., Zhao, X.L, 2018. Network intrusion detectionmethod based on PCA and Bayes algorithm. Secur, Commun. Netw. 2018 (10).1-11.

[5] Shen, K., Parvin, H, Qasem, S.N, Tuan, B.A, Pho, K.H, 2020. A classification modelbased on SVM and fuzzy rough set for network intrusion detection. J. Intell.Fuzzy Syst. 39 (1),1-17.

[6] Wang, S., Jin, z.G, 2020. IDS classification algorithm based on fuzzy SVM model. Appl. Res.Comput.37 (02),187-190.

[7] lwendi, C, Khan, S., Anajemba, J.H, Mittal, M, Alenezi, M, Alazab, M, 2020. Theuse of ensemble models for multiple class and binary class classification forimproving intrusion detection systems. Sensors 20 (9), 2559.

[8] Qiao, N, Li, z.X, Zhao, Gs, 2022. Intrusion detection model of internet ofthings based on XGBoost-RF. J. Chin. Mini Micro Comput. Syst. 43 (01), 152-158.

[9] Y. Yang, K. Zheng, C. Wu and Y. Yang, ”Improving the classification effectiveness of intrusion detection by using improved conditional variational autoencoder and deep neural network,” Sensors, vol. 19, p. 2528, 2019.

[10]  Li, Y.M., Xu, Y.Y, Liu, Z., Hou, HX, Zheng, Y.S, Xin, Y, et al, 2020. Robust detectionfor network intrusion of industrial loT based on multi-CNN fusion. Measure-ment 154.107450.

[11] Mulyanto, M., Faisal, M, Prakosa, S.W, Leu, JS, 2021. Effectiveness of focal loss forminority classification in network intrusion detection systems. Symmetry 13 (1),4.

[12] Y. Imrana, Y. Xiang, L. Ali and Z. Abdul-Rauf, ”A bidirectional LSTM deep learning approach for intrusion detection,” Expert Systems with Applications, vol. 185, p. 115524, 2021.

[13]  Wei W, Chen Y, Lin Q, et al. Multi-objective evolving long-short term memory networks with attention for network intrusion detection[J]. Applied Soft Computing, 2023: 110216.

[14] A. Binbusayyis and T. Vaiyapuri, ”Unsupervised deep learning approach for network intrusion detection combining convolutional autoencoder and one-class SVM,” Applied Intelligence, vol. 51, p. 7094–7108, 2021.

[15] J. Cui, L. Zong, J. Xie and M. Tang, ”A novel multi-module integrated intrusion detection system for high dimensional imbalanced data,” Applied Intelligence, vol. 53, p. 272–288, 2023.

[16] S. Huang and K. Lei, ”IGAN-IDS: An imbalanced generative adversarial network towards intrusion detection system in ad-hoc networks,” Ad Hoc Networks, vol. 105, p. 102177, 2020.

Soleymanzadeh R,Kashef R Efficient intrusion detection using multi-player generative adversarialnetworks(GANs): an ensemble-based deep learning architecturelJ. Neural Computing and Applications2023: 1-19.