在繁忙的數(shù)字生活中，網(wǎng)絡威脅變得更加復雜和頻繁。僅靠傳統(tǒng)的方法已經(jīng)無法確保網(wǎng)絡足夠安全。隨著網(wǎng)絡變得錯綜復雜，機器學習（ML）越來越不可或缺。機器學習可以幫助企業(yè)加強防御，積極應對新的威脅。
作為人工智能的一個關(guān)鍵組成部分，機器學習為計算機提供了類似人類的能力，可以在沒有直接編程的情況下從數(shù)據(jù)中學習并做出預測或決策。在深度學習領域中，現(xiàn)在已逐漸將焦點對準機器學習，因為其反映了人類大腦的工作方式。機器學習特別擅長處理復雜的任務，尤其是非結(jié)構(gòu)化數(shù)據(jù)，這也是成為現(xiàn)代網(wǎng)絡安全中識別和應對威脅的關(guān)鍵工具的原因。
內(nèi)容概述：
- 機器學習技術(shù)
- 迭代ML過程
- 特征工程
- 決策樹
- 集成學習
- ML用例
- 用于數(shù)據(jù)處理的聚類
- ML作為決策支持工具
機器學習技術(shù)
通常，機器學習技術(shù)分為三大類，每一類都有自己獨特的應用程序和方法：
- 監(jiān)督學習：在監(jiān)督學習中，算法提供了標記的數(shù)據(jù)集，使其從示例中學習并預測正確的輸出。這種類型的學習進一步分為兩個子類：分類和回歸。在網(wǎng)絡安全中，監(jiān)督學習被廣泛用于惡意軟件/網(wǎng)絡釣魚檢測、垃圾郵件過濾、圖像分類和欺詐檢測等任務。
- 無監(jiān)督學習：無監(jiān)督學習算法不依賴于標記數(shù)據(jù)，用于識別沒有預定義類別的數(shù)據(jù)中的模式。聚類是無監(jiān)督學習中的一種先進技術(shù)，用于客戶細分、異常檢測和傳入流分析。
- 強化學習：強化學習訓練機器在環(huán)境中根據(jù)獎懲做出決策。這種類型的學習更先進，可應用于機器人、推薦系統(tǒng)和自適應惡意軟件檢測。
機器學習的類型及其應用實例
迭代ML過程
機器學習過程是高度迭代的，涉及各種關(guān)鍵步驟：
- 問題定義：明確定義要解決的網(wǎng)絡安全問題。
- 數(shù)據(jù)收集：收集相關(guān)的高質(zhì)量數(shù)據(jù)，因為它對模型有效性有顯著的影響。
- 數(shù)據(jù)探索：了解數(shù)據(jù)的特征、結(jié)構(gòu)和局限性，從而發(fā)現(xiàn)潛在的網(wǎng)絡安全威脅。
- 數(shù)據(jù)預處理：清理、轉(zhuǎn)換和組織數(shù)據(jù)，使其適合ML算法。
- 模型創(chuàng)建：選擇合適的算法，設計模型架構(gòu)，并在準備好的數(shù)據(jù)上進行訓練。
- 模型評估：評估模型的性能，以確保其符合需求。
- 模型部署：將模型實施到網(wǎng)絡安全系統(tǒng)中，主動進行保護。
機器學習的過程
特征工程
在為機器學習算法準備數(shù)據(jù)方面，特征工程發(fā)揮著至關(guān)重要的作用。這些方法主要處理數(shù)字，將原始信息轉(zhuǎn)換為數(shù)字形式，也稱為“特征”。該過程涉及制定相關(guān)特征，這些特征有效地指導算法推導特定查詢的解決方案。例如，在對文件進行分類時，大小、類型和相關(guān)描述等屬性可能很有價值。
舉個例子，假設我們的目標是生成關(guān)于公司客戶的預測模型。由于不可能將真人輸入算法，所以必須為模型提供這些客戶的代表性特征。我們需要仔細選擇這些特征，最大限度地提高與研究問題的相關(guān)性。這些特征可以是靜態(tài)屬性，例如年齡、地理位置或經(jīng)常訪問的購物類別；也可以是基于客戶行為的動態(tài)屬性，例如最近的活動指標：是否更改了密碼或使用了新位置？
特征舉例
對文件進行分類時也采用同樣的方法。特征可能包括文件大小、類型、功能和其他描述性信息。特征工程的藝術(shù)和科學是機器學習過程中的一大步，需要仔細考慮從而確保所選擇的特征能夠為算法提供有意義的輸入，最終建立更準確、更穩(wěn)健的模型。
決策樹
作為機器學習算法的一個例子，讓我們來談談決策樹算法。決策樹是一種流行的機器學習算法，類似于樹狀圖，節(jié)點表示屬性，葉子表示輸出或類標簽。通過提出一系列問題，算法在數(shù)據(jù)中導航從而做出決策。決策樹可以作為更先進技術(shù)的基礎，如隨機森林。
決策樹示例
集成學習
集成學習將多個機器學習模型組合在一起以提高準確性。隨機森林就是這樣的技術(shù)，它可以根據(jù)數(shù)據(jù)樣本訓練每棵樹，并根據(jù)票數(shù)多的做出決定。
另一種流行的集成學習是梯度提升。與獨立建造和訓練樹木的隨機森林不同，梯度提升會按照順序建造樹木，每一棵新樹都是為了糾正前一棵樹所犯的錯誤而設計的，從而逐步提高模型的性能。當我們需要較高的預測能力時，梯度提升非常有效。目前梯度提升已成功用于各種網(wǎng)絡安全應用，例如識別釣魚頁面。
集成學習代表了機器學習應用程序先進的水平，展示了多個“較弱”的模型如何結(jié)合在一起形成一個“較強”的模型。
漸變增強示例
機器學習用例
雖然我們考慮了許多先進的機器學習方法，但它們?nèi)绾卧诰W(wǎng)絡安全中應用和使用？讓我們來看看一些案例。
惡意軟件檢測
機器學習是對抗惡意軟件，或者簡單地說，是對抗有害軟件的強大工具。病毒、木馬、勒索軟件和間諜軟件等破壞性軟件可能會威脅數(shù)據(jù)安全、系統(tǒng)可靠性和隱私。
基于機器學習，隨機森林和支持向量機（SVM）等算法構(gòu)成了惡意軟件檢測的主干。這些算法深入研究軟件二進制文件的微小細節(jié)，因為這些細節(jié)就像軟件程序的DNA。通過研究這些二進制信息，可以發(fā)現(xiàn)代碼中隱藏的威脅；還可以發(fā)現(xiàn)可能被人類分析師忽視的模式和異常之處，從而加快檢測速度。
網(wǎng)絡釣魚檢測
網(wǎng)絡釣魚攻擊是一種常見的網(wǎng)絡安全威脅，旨在誘騙人們泄露登錄信息、信用卡號或社會安全詳細信息等敏感數(shù)據(jù)。這種攻擊通常偽裝成合法的電子郵件或網(wǎng)站，欺騙用戶相信他們正在與一個值得信賴的網(wǎng)站交互。
機器學習模型由梯度提升和決策樹等算法提供支持，可以以驚人的速度分析大量電子郵件內(nèi)容和網(wǎng)站URL。這些算法有能力檢測網(wǎng)絡釣魚最微小的跡象，如可疑的電子郵件地址、細微的拼寫錯誤、URL異常或?qū)€人數(shù)據(jù)的異常請求。
通過在惡意軟件和網(wǎng)絡釣魚檢測中使用ML的預測能力，網(wǎng)絡安全措施變得更加積極主動。配備ML的系統(tǒng)可以預先識別和減輕威脅，而不是在發(fā)生后對違規(guī)行為做出反應。
異常檢測
異常檢測是指發(fā)現(xiàn)行為異常的數(shù)據(jù)點，顯示意外模式。想象一個具有簡單一維值的數(shù)據(jù)集，其中大多數(shù)數(shù)據(jù)點都聚集在一個中心點的周圍。假如一個數(shù)據(jù)點偏離了這個組，那么很容易將其標記為異常。在單個變量數(shù)據(jù)集中發(fā)現(xiàn)異常可能非常直接。
但是，隨著數(shù)據(jù)變得越來越復雜，這項任務更具挑戰(zhàn)性。例如，在有兩個變量的數(shù)據(jù)集中，分別考慮每個變量時，異常可能不會顯現(xiàn)；只有同時查看這兩個變量時才能發(fā)現(xiàn)異常。當處理包含數(shù)百甚至數(shù)千個變量的數(shù)據(jù)集時，檢測異常會變成一項復雜的任務，需要仔細檢查變量組合，才能有效地發(fā)現(xiàn)潛在的異常情況。
異常檢測技術(shù)
異常檢測在網(wǎng)絡安全中有多種重要應用：
- 網(wǎng)絡異常：網(wǎng)絡是網(wǎng)絡攻擊者的主要目標，檢測異常網(wǎng)絡行為對于防止數(shù)據(jù)泄露和未經(jīng)授權(quán)的訪問至關(guān)重要。異常檢測技術(shù)有助于識別異常網(wǎng)絡流量，指出潛在的網(wǎng)絡入侵或可疑活動。
- 信用卡欺詐：在金融部門，異常檢測在檢測欺詐性信用卡交易發(fā)揮著關(guān)鍵作用。它能夠分析交易模式并識別異常活動，例如在短時間內(nèi)從不同地點購買，或偏離持卡人消費習慣的大額購買。
- 可疑客戶行為：
在電子商務和在線服務中，異常檢測被用來發(fā)現(xiàn)可疑的客戶行為。它有助于識別偏離用戶典型交互的活動，例如異常登錄位置或多次登錄嘗試失敗，這可能表明有人在嘗試未經(jīng)授權(quán)的訪問或帳戶泄露。
異常檢測技術(shù)的選擇在很大程度上取決于數(shù)據(jù)類型和任務的具體要求。在存在已知模式的情況下，可以將靜態(tài)規(guī)則與ML模型相結(jié)合，以提高檢測精度。了解要檢測的異常類型也至關(guān)重要。數(shù)據(jù)是平衡的、具有自相關(guān)的還是多變量的，都會影響異常檢測策略的選擇。
用于數(shù)據(jù)處理的聚類
通過聚類算法進行數(shù)據(jù)處理也是機器學習在網(wǎng)絡安全中有價值的用例。在處理大量數(shù)據(jù)時，遇到大量獨立和未知文件的任務可能會令人望而生畏。聚類技術(shù)通過相似性進行分組來拯救數(shù)據(jù)，從而降低數(shù)據(jù)的復雜性并使其更易于管理。
聚類算法，如K-Means和層次聚類，都有助于將大量非結(jié)構(gòu)化數(shù)據(jù)點轉(zhuǎn)換為定義良好的對象組。通過相似性組織數(shù)據(jù)，分析師可以更清楚地了解整個數(shù)據(jù)集，使數(shù)據(jù)分析更加高效。
傳入流群集
集群在網(wǎng)絡安全中的一個顯著好處是自動注釋數(shù)據(jù)。當對象組包含已注釋的對象時，可以自動處理已注釋的部分。此外，機器學習算法可用于將新樣本與先前分類的樣本進行比較，從而簡化流程并減少所需的人工注釋量。
傳入流集群-注釋過程
通過將數(shù)據(jù)組織成有意義的集群，網(wǎng)絡安全專家可以更全面地了解數(shù)據(jù)集。這種增強的知識能夠更好地做出決策，從而實現(xiàn)更準確的威脅評估和對潛在安全風險做出更快的反應。
聚類算法在增強網(wǎng)絡安全方面發(fā)揮著至關(guān)重要的作用。隨著數(shù)據(jù)變得更加結(jié)構(gòu)化和基于相似性進行分組，手動數(shù)據(jù)分析的負擔顯著減輕。分析師可以專注于高優(yōu)先級任務，將重復和耗時的任務留給聚類算法。
機器學習作為決策支持工具
雖然機器學習很強大，但也必須認識到它的局限性。機器學習算法需要大量高質(zhì)量的數(shù)據(jù)，結(jié)果如何取決于所用數(shù)據(jù)的質(zhì)量。了解手頭的數(shù)據(jù)和問題對于成功實施至關(guān)重要。在某些情況下，現(xiàn)成的解決方案可能就足夠了，反而復雜的機器學習技術(shù)可能沒有必要。
ML作為決策支持工具
機器學習在網(wǎng)絡安全領域開辟了新的道路。從檢測惡意軟件和網(wǎng)絡釣魚攻擊到處理大量數(shù)據(jù)和識別異常，機器學習是一套多功能的工具來加強數(shù)字防御。隨著網(wǎng)絡環(huán)境的不斷發(fā)展，對于應對新的威脅和確保網(wǎng)絡安全來說，支持機器學習至關(guān)重要。雖然機器學習不是一個神奇的解決方案，但如果經(jīng)過深思熟慮和戰(zhàn)略性的應用，它將成為一個寶貴的決策支持工具，從而幫助網(wǎng)絡安全專業(yè)人員自信地駕馭復雜的數(shù)字安全世界。
原文標題：How Machine Learning is Helping Businesses Combat Cyber Threats，作者：Nadezda Demidova
原文鏈接：https://hackernoon.com/how-machine-learning-is-helping-businesses-combat-cyber-threats
