普通反爬蟲機(jī)制的應(yīng)對(duì)策略
爬蟲與反爬蟲，這相愛相殺的一對(duì)，簡(jiǎn)直可以寫出一部壯觀的斗爭(zhēng)史。而在大數(shù)據(jù)時(shí)代，數(shù)據(jù)就是金錢，很多企業(yè)都為自己的網(wǎng)站運(yùn)用了反爬蟲機(jī)制，防止網(wǎng)頁(yè)上的數(shù)據(jù)被爬蟲爬走。然而，如果反爬機(jī)制過(guò)于嚴(yán)格，可能會(huì)誤傷到真正的用戶請(qǐng)求;如果既要和爬蟲死磕，又要保證很低的誤傷率，那么又會(huì)加大研發(fā)的成本。
簡(jiǎn)單低級(jí)的爬蟲速度快，偽裝度低，如果沒有反爬機(jī)制，它們可以很快的抓取大量數(shù)據(jù)，甚至因?yàn)檎?qǐng)求過(guò)多，造成服務(wù)器不能正常工作。而偽裝度高的爬蟲爬取速度慢，對(duì)服務(wù)器造成的負(fù)擔(dān)也相對(duì)較小。所以，網(wǎng)站反爬的重點(diǎn)也是那種簡(jiǎn)單粗暴的爬蟲，反爬機(jī)制也會(huì)允許偽裝度高的爬蟲，獲得數(shù)據(jù)。畢竟偽裝度很高的爬蟲與真實(shí)用戶也就沒有太大差別了。
這篇文章主要討論使用Scrapy框架時(shí)，如何應(yīng)對(duì)普通的反爬機(jī)制。
header檢驗(yàn)
最簡(jiǎn)單的反爬機(jī)制，就是檢查HTTP請(qǐng)求的Headers信息，包括User-Agent, Referer、Cookies等。
User-Agent
User-Agent是檢查用戶所用客戶端的種類和版本，在Scrapy中，通常是在下載器中間件中進(jìn)行處理。比如在setting.py中建立一個(gè)包含很多瀏覽器User-Agent的列表，然后新建一個(gè)random_user_agent文件：
- class RandomUserAgentMiddleware(object):
- @classmethod
- defprocess_request(cls, request, spider):
- ua = random.choice(spider.settings['USER_AGENT_LIST'])
- if ua:
- request.headers.setdefault('User-Agent', ua)
這樣就可以在每次請(qǐng)求中，隨機(jī)選取一個(gè)真實(shí)瀏覽器的User-Agent。
Referer
Referer是檢查此請(qǐng)求由哪里來(lái)，通常可以做圖片的盜鏈判斷。在Scrapy中，如果某個(gè)頁(yè)面url是通過(guò)之前爬取的頁(yè)面提取到，Scrapy會(huì)自動(dòng)把之前爬取的頁(yè)面url作為Referfer。也可以通過(guò)上面的方式自己定義Referfer字段。
Cookies
網(wǎng)站可能會(huì)檢測(cè)Cookie中session_id的使用次數(shù)，如果超過(guò)限制，就觸發(fā)反爬策略。所以可以在Scrapy中設(shè)置 COOKIES_ENABLED = False 讓請(qǐng)求不帶Cookies。
也有網(wǎng)站強(qiáng)制開啟Cookis，這時(shí)就要麻煩一點(diǎn)了。可以另寫一個(gè)簡(jiǎn)單的爬蟲，定時(shí)向目標(biāo)網(wǎng)站發(fā)送不帶Cookies的請(qǐng)求，提取響應(yīng)中Set-cookie字段信息并保存。爬取網(wǎng)頁(yè)時(shí)，把存儲(chǔ)起來(lái)的Cookies帶入Headers中。
X-Forwarded-For
在請(qǐng)求頭中添加X-Forwarded-For字段，將自己申明為一個(gè)透明的代理服務(wù)器，一些網(wǎng)站對(duì)代理服務(wù)器會(huì)手軟一些。
X-Forwarded-For頭一般格式如下
- X-Forwarded-For: client1, proxy1, proxy2
這里將client1，proxy1設(shè)置為隨機(jī)IP地址，把自己的請(qǐng)求偽裝成代理的隨機(jī)IP產(chǎn)生的請(qǐng)求。然而由于X-Forwarded-For可以隨意篡改，很多網(wǎng)站并不會(huì)信任這個(gè)值。
限制IP的請(qǐng)求數(shù)量
如果某一IP的請(qǐng)求速度過(guò)快，就觸發(fā)反爬機(jī)制。當(dāng)然可以通過(guò)放慢爬取速度繞過(guò)，這要以爬取時(shí)間大大增長(zhǎng)為代價(jià)。另一種方法就是添加代理。
很簡(jiǎn)單，在下載器中間件中添加:
- request.meta['proxy'] = 'http://' + 'proxy_host' + ':' + proxy_port
然后再每次請(qǐng)求時(shí)使用不同的代理IP。然而問(wèn)題是如何獲取大量的代理IP?
可以自己寫一個(gè)IP代理獲取和維護(hù)系統(tǒng)，定時(shí)從各種披露免費(fèi)代理IP的網(wǎng)站爬取免費(fèi)IP代理，然后定時(shí)掃描這些IP和端口是否可用，將不可用的代理IP及時(shí)清理。這樣就有一個(gè)動(dòng)態(tài)的代理庫(kù)，每次請(qǐng)求再?gòu)膸?kù)中隨機(jī)選擇一個(gè)代理。然而這個(gè)方案的缺點(diǎn)也很明顯，開發(fā)代理獲取和維護(hù)系統(tǒng)本身就很費(fèi)時(shí)費(fèi)力，并且這種免費(fèi)代理的數(shù)量并不多，而且穩(wěn)定性都比較差。如果必須要用到代理，也可以去買一些穩(wěn)定的代理服務(wù)。這些服務(wù)大多會(huì)用到帶認(rèn)證的代理。
在requests庫(kù)中添加帶認(rèn)證的代理很簡(jiǎn)單，
- proxies = {
- "http": "http://user:pass@10.10.1.10:3128/",
- }
然而Scrapy不支持這種認(rèn)證方式，需要將認(rèn)證信息base64編碼后，加入Headers的Proxy-Authorization字段：
- importbase64
- # Set the location of the proxy
- proxy_string = choice(self._get_proxies_from_file('proxies.txt')) # user:pass@ip:port
- proxy_items = proxy_string.split('@')
- request.meta['proxy'] = "http://%s" % proxy_items[1]
- # setup basic authentication for the proxy
- user_pass=base64.encodestring(proxy_items[0])
- request.headers['Proxy-Authorization'] = 'Basic ' + user_pass
動(dòng)態(tài)加載
現(xiàn)在越來(lái)越多的網(wǎng)站使用ajax動(dòng)態(tài)加載內(nèi)容，這時(shí)候可以先截取ajax請(qǐng)求分析一下，有可能根據(jù)ajax請(qǐng)求構(gòu)造出相應(yīng)的API請(qǐng)求的URL就可以直接獲取想要的內(nèi)容，通常是json格式，反而還不用去解析HTML。
然而，很多時(shí)候ajax請(qǐng)求都會(huì)經(jīng)過(guò)后端鑒權(quán)，不能直接構(gòu)造URL獲取。這時(shí)就可以通過(guò)PhantomJS+Selenium模擬瀏覽器行為，抓取經(jīng)過(guò)js渲染后的頁(yè)面。
需要注意的是，使用Selenium后，請(qǐng)求不再由Scrapy的Downloader執(zhí)行，所以之前添加的請(qǐng)求頭等信息都會(huì)失效，需要在Selenium中重新添加
- headers = {...}
- for key, valuein headers.iteritems():
- webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.{}'.format(key)] = value
另外，調(diào)用PhantomJs需要指定PhantomJs的可執(zhí)行文件路徑，通常是將該路徑添加到系統(tǒng)的path路徑，讓程序執(zhí)行時(shí)自動(dòng)去path中尋找。我們的爬蟲經(jīng)常會(huì)放到crontab中定時(shí)執(zhí)行，而crontab中的環(huán)境變量和系統(tǒng)的環(huán)境變量不同，所以就加載不到PhamtonJs需要的路徑，所以***是在申明時(shí)指定路徑：
- driver = webdriver.PhantomJS(executable_path='/usr/local/bin/phantomjs')
