大數(shù)據(jù)時(shí)代，數(shù)據(jù)是市場競爭的重要資源，因此利用網(wǎng)絡(luò)爬蟲惡意爬取數(shù)據(jù)的事件頻繁發(fā)生。今年上半年，某銀行電子結(jié)算中心承建的線上征信平臺“某某融”，就遭到了惡意爬蟲的瘋狂“洗劫”。

某金融征信平臺疑似遭爬蟲瘋狂“洗劫”

“某某融”平臺是中小微企業(yè)信用信息和融資對接平臺，目的是實(shí)現(xiàn)資金供需雙方線上高效對接，提高企業(yè)金融服務(wù)的可得性、覆蓋率和滿意度，目前已接入207家銀行機(jī)構(gòu)的1.3萬個(gè)網(wǎng)點(diǎn)，注冊企業(yè)155萬家。

根據(jù)相關(guān)規(guī)定，“某某融”平臺向轄內(nèi)各商業(yè)銀行免費(fèi)提供信息查詢服務(wù)，但只允許商業(yè)銀行以人工訪問方式進(jìn)行逐條信息查詢。然而，“某某融”平臺的技術(shù)人員卻發(fā)現(xiàn)，每天一到凌晨，系統(tǒng)后臺就出現(xiàn)了大量的查詢請求，并持續(xù)整個(gè)后半夜，但到底是誰在查詢卻對不上號。

很顯然，這并不是正常的用戶行為，更像是利用自動化工具的惡意爬蟲行為。一旦被惡意爬蟲盯上，平臺很可能會遭遇敏感數(shù)據(jù)泄露，導(dǎo)致大量企業(yè)和用戶利益受損，影響金融機(jī)構(gòu)的公眾威望。此外，大量爬蟲惡意數(shù)據(jù)請求會不斷霸占業(yè)務(wù)服務(wù)器性能，影響平臺的正常運(yùn)行，從而導(dǎo)致用戶體驗(yàn)下降，為平臺的安全運(yùn)營帶來了極大的挑戰(zhàn)。

為此，“某某融”平臺火速搬來了救兵——業(yè)內(nèi)知名的Bots自動化攻擊防護(hù)專業(yè)廠商瑞數(shù)信息，誓要抓出潛伏在黑暗中的惡意爬蟲。

瑞數(shù)信息“反爬蟲”之戰(zhàn)

瑞數(shù)信息第一時(shí)間為“某某融”平臺部署了一款“反爬蟲利器”——瑞數(shù)動態(tài)應(yīng)用保護(hù)系統(tǒng) Botgate。

此系統(tǒng)以瑞數(shù)信息獨(dú)創(chuàng)的“動態(tài)防護(hù)”技術(shù)為核心，不基于任何特征、規(guī)則及閾值的方式進(jìn)行防護(hù)，能夠有效識別和防御自動化攻擊。具體而言，有4大技術(shù)能力：

l  動態(tài)令牌：對當(dāng)前頁面內(nèi)的合法請求地址授予一定時(shí)間內(nèi)有效的動態(tài)令牌，并為每個(gè)客戶端生成不依賴于設(shè)備特征的唯一標(biāo)識。令牌的動態(tài)變換，加上客戶端唯一標(biāo)識，就如同身份證一樣難以偽造，可以阻攔非法的自動化攻擊請求。

l  人機(jī)識別：通過動態(tài)令牌、客戶端環(huán)境檢測、客戶端行為識別等方式，驗(yàn)證瀏覽器/APP的真實(shí)性，檢查動作的真實(shí)性，實(shí)現(xiàn)對訪問客戶端的人機(jī)識別，從而阻攔自動化攻擊行為。

l  代碼混淆封裝：靈活運(yùn)用Web代碼混淆、JS混淆、前端反調(diào)試、Cookie混淆、中間人檢測等多種功能，對頁面邏輯、代碼、內(nèi)容關(guān)鍵元素等進(jìn)行混淆封裝，對自動化攻擊進(jìn)行動態(tài)干擾，防止業(yè)務(wù)被逆向分析。

l  威脅透視：利用獨(dú)有的全程式業(yè)務(wù)威脅感知和智能分析技術(shù)，以及內(nèi)置的通用自動化威脅模型，準(zhǔn)確透視細(xì)粒度的機(jī)器人行為，為精準(zhǔn)判定自動化攻擊提供有效威脅數(shù)據(jù)。

基于動態(tài)應(yīng)用保護(hù)系統(tǒng)Botgate，瑞數(shù)信息很快發(fā)現(xiàn)“某某融”平臺的不動產(chǎn)、備案等系統(tǒng)，在一個(gè)月的時(shí)間內(nèi)遭遇了570多萬起自動化惡意爬蟲行為，已占據(jù)了正常請求的近1/4。

進(jìn)一步分析發(fā)現(xiàn)，惡意爬蟲為了登錄賬號，利用了弱密碼、暴力破解等方式，并大量使用自動化工具，非法查看敏感數(shù)據(jù)。

檢測數(shù)據(jù)顯示，爬蟲賬號高達(dá)172個(gè)，異常IP有90個(gè)。其中，涉及簡單腳本的IP 90個(gè)，重放攻擊的IP 72個(gè)，破解行為的IP 48個(gè)，調(diào)試行為的IP 25個(gè)，高級自動化工具的IP 13個(gè)。

從非工作時(shí)間業(yè)務(wù)查詢行為看，凌晨0點(diǎn)至6點(diǎn)期間存在產(chǎn)權(quán)查冊發(fā)起頁面加載、發(fā)起產(chǎn)權(quán)查冊查詢、產(chǎn)權(quán)查冊歷史查詢記錄、查看產(chǎn)權(quán)查冊明細(xì)的行為。

總體而言，“某某融”平臺已被惡意爬蟲“洗劫”，面臨著賬號濫用、自動化工具濫用、非工作時(shí)間高頻訪問、業(yè)務(wù)邏輯被逆向分析、敏感數(shù)據(jù)被濫用等多重業(yè)務(wù)安全問題。

對此，瑞數(shù)信息根據(jù)“某某融”平臺業(yè)務(wù)需求，定制了靈活的防護(hù)策略：既可以針對異常IP和行為進(jìn)行自動化攔截、按比例攔截，也可以對頻繁訪問請求做延遲，或發(fā)起二次動態(tài)挑戰(zhàn)，還可以限定特定IP超過一定時(shí)間不能訪問等等，在保護(hù)數(shù)據(jù)安全的同時(shí)也不影響業(yè)務(wù)的正常運(yùn)轉(zhuǎn)。

整治金融爬蟲需要“動態(tài)安全”新技術(shù)

“某某融”平臺爬蟲事件其實(shí)并非個(gè)例。惡意數(shù)據(jù)爬蟲攻擊是自動化攻擊請求中占比最大的一類，金融、互聯(lián)網(wǎng)、政企、醫(yī)療衛(wèi)生、教育等行業(yè)，都遭受著持續(xù)不間斷的爬蟲訪問。瑞數(shù)信息《2022 Bots自動化威脅報(bào)告》顯示，2021年根據(jù)瑞數(shù)信息監(jiān)測到的惡意爬蟲攻擊達(dá)到1000億+以上。

近年來，隨著互聯(lián)網(wǎng)金融服務(wù)體系的快速增長，越來越多的金融業(yè)務(wù)構(gòu)建在Web、H5、App、API、微信和小程序等多種業(yè)務(wù)渠道上，應(yīng)用敞口風(fēng)險(xiǎn)暴露面隨之增大，各類變化多端的爬蟲攻擊也趁虛而入，導(dǎo)致企業(yè)數(shù)據(jù)泄露風(fēng)險(xiǎn)加劇。

據(jù)瑞數(shù)信息技術(shù)專家介紹，在金融行業(yè)，交易、支付、信貸、營銷等業(yè)務(wù)場景都是爬蟲攻擊的重災(zāi)區(qū)。比如，爬取企業(yè)征信報(bào)告，盜取用戶個(gè)人網(wǎng)銀、交易支付記錄、信用卡賬單等，都是為了獲取敏感數(shù)據(jù)以博取高額利潤。

盡管爬蟲帶來了巨大的業(yè)務(wù)安全風(fēng)險(xiǎn)，但為何金融行業(yè)的惡意爬蟲屢禁不止？

瑞數(shù)信息技術(shù)專家表示，爬蟲技術(shù)多年來一直在不斷演進(jìn)，不僅精通各種代碼語言，甚至在使用機(jī)器學(xué)習(xí)等AI技術(shù)，不斷挑戰(zhàn)著現(xiàn)有防護(hù)體系，由此帶來了三大防護(hù)難點(diǎn)：

第一，惡意爬蟲使用了大量高級自動化工具，能夠不斷變化自身來源，以多源低頻的方式，繞過傳統(tǒng)規(guī)則庫；

第二，惡意爬蟲能夠偽造UA信息，不斷變化環(huán)境信息，騙過傳統(tǒng)特征庫；

第三，惡意爬蟲使用了高度擬人化的武器庫，通過資源鏈接、相互調(diào)用，能夠發(fā)起模擬真人的操作行為，迷惑現(xiàn)有的風(fēng)控規(guī)則。

瑞數(shù)信息技術(shù)專家指出，爬蟲技術(shù)的快速迭代升級，導(dǎo)致依賴規(guī)則、特征的傳統(tǒng)安全技術(shù)和風(fēng)控技術(shù)都無力應(yīng)對，金融機(jī)構(gòu)必須尋求新的技術(shù)方案才能對抗新的爬蟲技術(shù)。正因如此，“動態(tài)安全”作為一種顛覆傳統(tǒng)安全被動式防御的新技術(shù)，創(chuàng)新地提出動態(tài)防御、主動防御概念，成為新時(shí)代反爬蟲的理想選擇。

作為“動態(tài)安全”技術(shù)的首創(chuàng)者，瑞數(shù)信息推出的第一款產(chǎn)品就是“瑞數(shù)動態(tài)應(yīng)用保護(hù)系統(tǒng)Botgate”，由于能夠高效甄別偽裝和假冒正常行為的各類已知和未知自動化攻擊，并能夠進(jìn)行有效的阻斷防護(hù)，因此Botgate稱得上是一款高效反爬蟲的利器。

除此之外，瑞數(shù)信息還將“動態(tài)安全”技術(shù)和AI技術(shù)融合起來，涵蓋了機(jī)器學(xué)習(xí)、智能人機(jī)識別、智能威脅檢測、全息設(shè)備指紋、智能響應(yīng)等AI技術(shù)，對客戶端到服務(wù)器端所有的請求日志進(jìn)行全訪問記錄，持續(xù)監(jiān)控并分析流量行為，實(shí)現(xiàn)精準(zhǔn)攻擊定位和追蹤溯源，并對潛在和更加隱蔽的攻擊行為進(jìn)行更深層次的分析和挖掘，這將更加精準(zhǔn)、持續(xù)的對抗惡意爬蟲帶來的自動化攻擊。

結(jié)語

金融服務(wù)數(shù)據(jù)正受到空前的關(guān)注，對數(shù)據(jù)的爭奪所引發(fā)的安全對抗也愈加激烈。面對惡意爬蟲技術(shù)的不斷升級，金融機(jī)構(gòu)亟需轉(zhuǎn)向以“動態(tài)安全”為核心的新安全技術(shù)，提高對自動化工具訪問的識別能力，提升自身系統(tǒng)的數(shù)據(jù)安全能力，建立起數(shù)據(jù)反爬的銅墻鐵壁。