【51CTO.com原創(chuàng)稿件】近日，51CTO記者采訪了Akamai中國(guó)區(qū)企業(yè)事業(yè)部總經(jīng)理何銘及Akamai大中華區(qū)產(chǎn)品市場(chǎng)經(jīng)理劉炅，就惡意爬蟲(chóng)攻擊演進(jìn)、危害以及如何防御等話題進(jìn)行了深入交流。

什么是爬蟲(chóng)?

首先，我們來(lái)解讀下，什么是爬蟲(chóng)(BOT)?BOT，意為搜索引擎抓取機(jī)器人，也稱爬蟲(chóng)。互聯(lián)網(wǎng)中的數(shù)據(jù)是海量的，如何自動(dòng)高效地獲取互聯(lián)網(wǎng)中我們感興趣的信息并為我們所用是一個(gè)重要的問(wèn)題，而爬蟲(chóng)技術(shù)就是為了解決這些問(wèn)題而生的。

“其實(shí)，在互聯(lián)網(wǎng)流量中，有40%的流量是爬蟲(chóng)的流量。當(dāng)然，爬蟲(chóng)有好有壞，善意的爬蟲(chóng)主要用于網(wǎng)絡(luò)索引、內(nèi)容聚合以及提取市場(chǎng)或價(jià)格信息。而惡意的爬蟲(chóng)由惡意攻擊者操縱，用于針對(duì)所有行業(yè)、地區(qū)和渠道的Web內(nèi)容搜刮、交易欺詐、垃圾郵件以及DDoS和撞庫(kù)攻擊。針對(duì)這些爬蟲(chóng)，企業(yè)機(jī)構(gòu)需要進(jìn)行識(shí)別和管理，進(jìn)行有效防范。”劉炅說(shuō)道。

惡意爬蟲(chóng)是一種自動(dòng)化的惡意軟件，通過(guò)遠(yuǎn)程互聯(lián)網(wǎng)對(duì)目標(biāo)站點(diǎn)進(jìn)行攻擊，以達(dá)到商業(yè)欺詐的目的。常見(jiàn)的攻擊方式有憑證濫用、賬戶濫用、銀行卡攻擊、庫(kù)存囤積、薅羊毛。憑證濫用類攻擊是撞庫(kù)攻擊最主要的方式，它將從黑市上獲取的大量用戶數(shù)據(jù)和賬戶信息在不同的網(wǎng)站進(jìn)行登錄嘗試，從而得到有效賬戶，最終把這些賬戶非法販賣給其他人。賬戶接管或稱為賬戶盜用是另一種撞庫(kù)攻擊的常見(jiàn)類型，指對(duì)包括電商、游戲賬戶在內(nèi)的互聯(lián)網(wǎng)賬戶的盜取。這種攻擊通常也是通過(guò)登陸嘗試或蠻力手段得到賬戶，在接管賬戶后進(jìn)行信息竊取或進(jìn)一步攻擊。

[[323569]]

Akamai大中華區(qū)產(chǎn)品市場(chǎng)經(jīng)理劉炅

爬蟲(chóng)攻擊的演進(jìn)歷程

回顧爬蟲(chóng)攻擊的演進(jìn)歷程，劉炅將其劃分為四個(gè)階段：

最開(kāi)始，爬蟲(chóng)比較簡(jiǎn)單，都是通過(guò)單IP或者是極少的IP搭建一個(gè)惡意攻擊點(diǎn)。此外，針對(duì)客戶端攻擊的惡意軟件也比較簡(jiǎn)單，均是采用命令行的攻擊方式。在這個(gè)階段，外部瀏覽器還沒(méi)有Cookie值，也沒(méi)有添加Script的可執(zhí)行腳本。所以防護(hù)這些爬蟲(chóng)比較簡(jiǎn)單，企業(yè)在找到攻擊源后實(shí)施訪問(wèn)控制(采取黑名單限制等手段)，就可以進(jìn)行防護(hù)。

第二階段，隨著瀏覽器引入Cookie功能和具備Script腳本執(zhí)行能力，爬蟲(chóng)采用簡(jiǎn)易瀏覽器實(shí)施攻擊，因而此前簡(jiǎn)單的防護(hù)方式已經(jīng)無(wú)法識(shí)別爬蟲(chóng)。相應(yīng)地，防護(hù)手段需要加入對(duì)Script值的驗(yàn)證等能力(包括JS變量的驗(yàn)證)來(lái)探測(cè)攻擊端瀏覽器的真假。

第三階段，此時(shí)的爬蟲(chóng)攻擊基于真實(shí)瀏覽器，并開(kāi)始模擬人的行為，因此企業(yè)需要更進(jìn)一層的檢測(cè)方式。比如，Akamai的Bot Manager Premier(爬蟲(chóng)管理器)產(chǎn)品可以通過(guò)鍵盤(pán)敲擊、鼠標(biāo)滑動(dòng)等操作來(lái)有效識(shí)別爬蟲(chóng)流量。

第四階段，也是現(xiàn)在所處階段的特點(diǎn)是爬蟲(chóng)攻擊點(diǎn)呈現(xiàn)分布式、且可利用更多的僵尸網(wǎng)絡(luò)發(fā)起攻擊，從而導(dǎo)致企業(yè)對(duì)爬蟲(chóng)流量的判斷更加困難。其次，爬蟲(chóng)也在模擬更多的真實(shí)人類行為，因此對(duì)爬蟲(chóng)的攻擊檢測(cè)和防護(hù)模式需要采用機(jī)器學(xué)習(xí)等技術(shù)加以識(shí)別。

[[323570]]

Akamai中國(guó)區(qū)企業(yè)事業(yè)部總經(jīng)理何銘

“三年前，我發(fā)現(xiàn)大部分中國(guó)客戶對(duì)爬蟲(chóng)沒(méi)有特別的概念，且對(duì)爬蟲(chóng)危害的認(rèn)識(shí)較淺。但從2018年開(kāi)始，Akamai的中國(guó)客戶基本上都采取了多種反爬蟲(chóng)手段。由此可見(jiàn)，國(guó)內(nèi)企業(yè)對(duì)爬蟲(chóng)危害的認(rèn)識(shí)提升很快。”何銘也回憶并舉例說(shuō)，“很多年輕人喜歡購(gòu)買(mǎi)限量款鞋子，因此品牌網(wǎng)站需要通過(guò)搖號(hào)排隊(duì)的方式才能售賣。但是黑客可以使用爬蟲(chóng)來(lái)瞬間預(yù)定所有限量款鞋子，從而轉(zhuǎn)售盈利。類似的案例還有很多，侵占、搶占庫(kù)存，甚至發(fā)動(dòng)DDoS攻擊堵塞網(wǎng)絡(luò)，而很多小網(wǎng)站是經(jīng)受不住這種打擊的。所以，從2018年開(kāi)始，各個(gè)行業(yè)對(duì)爬蟲(chóng)管理越發(fā)重視。”

同時(shí)，何銘也注意到了另外一個(gè)現(xiàn)象：在對(duì)惡意爬蟲(chóng)管理更加重視的同時(shí)，很多網(wǎng)站開(kāi)始引入善意爬蟲(chóng)，通過(guò)內(nèi)嵌搜索引擎來(lái)促進(jìn)物品銷售。“這也是現(xiàn)在爬蟲(chóng)管理市場(chǎng)值得注意的方向。我們需要阻止惡意爬蟲(chóng)、放行善意爬蟲(chóng)，一刀切地阻止所有爬蟲(chóng)會(huì)影響企業(yè)商品銷量和業(yè)務(wù)。”

爬蟲(chóng)攻擊次數(shù)居高不下，手段日益復(fù)雜

談及近年來(lái)爬蟲(chóng)攻擊的趨勢(shì)，劉炅告訴記者，憑借每日交付超過(guò)50 Tbps的Web流量，Akamai對(duì)互聯(lián)網(wǎng)上的攻擊流量有著極大的可視性，特別是對(duì)于爬蟲(chóng)攻擊趨勢(shì)的研究。據(jù)Akamai今年二月發(fā)布的《2020年互聯(lián)網(wǎng)安全狀況報(bào)告：金融服務(wù)——惡意接管嘗試》，爬蟲(chóng)攻擊呈現(xiàn)出以下趨勢(shì)：

第一，攻擊次數(shù)居高不下。在報(bào)告統(tǒng)計(jì)的約兩年內(nèi)，Akamai共發(fā)現(xiàn)了超過(guò)850億次攻擊，日均攻擊量達(dá)到1.2億次之多。

第二，攻擊手段越發(fā)復(fù)雜。攻擊者會(huì)通過(guò)多合一的工具、利用僵尸網(wǎng)絡(luò)發(fā)起分布式攻擊。鑒于當(dāng)前API協(xié)議的廣泛使用，攻擊者便利用API的自動(dòng)化特性、采用API作為主要攻擊手段。Akamai發(fā)現(xiàn)近20%的憑證濫用攻擊都是基于API的登錄方式。

第三，金融業(yè)已成為攻擊重災(zāi)區(qū)。根據(jù)Akamai的數(shù)據(jù)，在針對(duì)金融服務(wù)業(yè)發(fā)起的撞庫(kù)攻擊中，高達(dá)75%的攻擊直接以API為目標(biāo)。

何銘表示：“其實(shí)各行各業(yè)都會(huì)受到爬蟲(chóng)攻擊，零售業(yè)是受到爬蟲(chóng)攻擊最為嚴(yán)重的行業(yè)之一，除此之外，爬蟲(chóng)攻擊的主要目標(biāo)還包括媒體、金融、酒店及旅游業(yè)。在零售業(yè)中，服裝類、電商門(mén)戶類以及百貨類的網(wǎng)站更易遭到爬蟲(chóng)攻擊。”

Akamai和Ponemon Institute的聯(lián)合研究顯示，由爬蟲(chóng)引起的“撞庫(kù)”攻擊每年會(huì)給企業(yè)帶來(lái)高達(dá)270萬(wàn)美元的損失。爬蟲(chóng)攻擊給企業(yè)造成的損失可見(jiàn)一斑。

抵御爬蟲(chóng)攻擊，Akamai一直在行動(dòng)

那么，究竟該如何應(yīng)對(duì)爬蟲(chóng)攻擊?何銘認(rèn)為：“對(duì)于爬蟲(chóng)的管理，企業(yè)首先要做的是甄別，包括規(guī)則和策略的制定。”以電商行業(yè)為例，電商網(wǎng)站構(gòu)建起來(lái)較為復(fù)雜，一方面需要第三方爬蟲(chóng)的支持來(lái)實(shí)現(xiàn)引流、實(shí)現(xiàn)讓用戶能夠訪問(wèn)庫(kù)存，保證在庫(kù)存充足的前提下銷售產(chǎn)品。同時(shí)，也要防范競(jìng)爭(zhēng)對(duì)手惡意爬取其庫(kù)存信息，搶走庫(kù)存而影響對(duì)外銷售。因此，企業(yè)IT團(tuán)隊(duì)既要識(shí)別惡意爬蟲(chóng)、進(jìn)行阻擋，又要甄別出善意爬蟲(chóng)、予以放行，還要做好DDoS攻擊等防護(hù)工作。

隨著爬蟲(chóng)攻擊方式的演進(jìn)，Akamai爬蟲(chóng)管理產(chǎn)品和解決方案也在不斷升級(jí)迭代。就在三月，Akamai對(duì)爬蟲(chóng)管理產(chǎn)品進(jìn)行了升級(jí)，全面提升攻防能力。具體而言，實(shí)現(xiàn)了更多更精準(zhǔn)的爬蟲(chóng)檢測(cè)方法，加入了POW(Proof of Work)挑戰(zhàn)檢測(cè)方法;基于人工智能的威脅評(píng)分機(jī)制，根據(jù)分值可實(shí)施部署靈活的防護(hù)策略;增加更多場(chǎng)景支持，尤其對(duì)于跨域場(chǎng)景的支持，為了使跨域請(qǐng)求的檢測(cè)更加精準(zhǔn)，Akamai定義了新的攻擊檢測(cè)方式，從而擴(kuò)展更多的應(yīng)用防護(hù)場(chǎng)景;另外實(shí)現(xiàn)了與真實(shí)用戶監(jiān)控(RUM)頁(yè)面性能檢測(cè)產(chǎn)品集成，分析和判斷爬蟲(chóng)對(duì)業(yè)務(wù)性能的影響，并進(jìn)行可視化管理。

今年二月，F(xiàn)orrester發(fā)布了“Forrester New Wave™：2020年第一季度爬蟲(chóng)程序管理評(píng)估”報(bào)告，并認(rèn)定Akamai為“領(lǐng)導(dǎo)者”。顯然，這是對(duì)Akamai爬蟲(chóng)管理能力的充分肯定。目前，無(wú)論是從產(chǎn)品功能特性還是市場(chǎng)占有率上，Akamai在爬蟲(chóng)管理界都處于前列。從最初單一的IP攻擊到模擬瀏覽器和人類行為，爬蟲(chóng)的攻擊方式不停變化。鑒于此，Akamai針對(duì)爬蟲(chóng)的檢測(cè)方案也是多種多樣，包括IP攔截、速率控制、Cookie和Java參數(shù)檢測(cè)以及用戶行為的深度分析。而對(duì)于爬蟲(chóng)的緩解方案，除了最基本的監(jiān)控和攔截，Akamai還會(huì)進(jìn)行限速、延緩和疏導(dǎo)。

“有的企業(yè)希望一、兩天就能實(shí)現(xiàn)對(duì)爬蟲(chóng)的管理，這是不現(xiàn)實(shí)的。但爬蟲(chóng)管理解決方案部署過(guò)程的快慢，仰仗于安全廠商在業(yè)內(nèi)的技術(shù)沉淀和經(jīng)驗(yàn)積累。高效的爬蟲(chóng)管理需要長(zhǎng)期積累的經(jīng)驗(yàn)和能力。一旦客戶選擇了Akamai，我們就可以立即開(kāi)啟甄別模式、預(yù)警模式，快速進(jìn)入策略的制定和防護(hù)的開(kāi)啟，這也是Akamai引以為豪之處。”何銘表示，據(jù)某電商客戶反饋，在部署Akamai爬蟲(chóng)管理解決方案一段時(shí)間后，他們發(fā)現(xiàn)自己網(wǎng)站的大部分流量都是爬蟲(chóng)流量，而以前他們對(duì)此根本沒(méi)有感知。此外，他們?cè)诓渴餉kamai方案前對(duì)爬蟲(chóng)攻擊流量的發(fā)現(xiàn)率大概為10%，但部署后的識(shí)別率達(dá)到約99%。

綜上可以看出，由于與生俱來(lái)的邊緣屬性和優(yōu)勢(shì)，Akamai的爬蟲(chóng)管理解決方案可以很好地應(yīng)用于多種環(huán)境，包括用戶本地的數(shù)據(jù)中心和多云環(huán)境中的防護(hù)場(chǎng)景。Akamai的爬蟲(chóng)防護(hù)方案并非一個(gè)單點(diǎn)方案，而是一個(gè)分層次的、全棧的防護(hù)方案，即從DDoS和網(wǎng)頁(yè)防護(hù)到爬蟲(chóng)管理乃至API攻擊都可進(jìn)行防護(hù)。基于邊緣的安全能力，Akamai提供了一整套防護(hù)解決方案來(lái)幫助企業(yè)抵御目前最復(fù)雜的網(wǎng)絡(luò)攻擊。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】