一個(gè)復(fù)雜的分布式爬蟲系統(tǒng)由很多的模塊組成，每個(gè)模塊是一個(gè)獨(dú)立的服務(wù)(SOA架構(gòu))，所有的服務(wù)都注冊到Zookeeper來統(tǒng)一管理和便于線上擴(kuò)展。模塊之間通過thrift(或是protobuf，或是soup，或是json，等)協(xié)議來交互和通訊。

Zookeeper負(fù)責(zé)管理系統(tǒng)中的所有服務(wù)，簡單的配置信息的同步，同一服務(wù)的不同拷貝之間的負(fù)載均衡。它還有一個(gè)好處是可以實(shí)現(xiàn)服務(wù)模塊的熱插拔。

URLManager是爬蟲系統(tǒng)的核心。負(fù)責(zé)URL的重要性排序，分發(fā)，調(diào)度，任務(wù)分配。單個(gè)的爬蟲完成一批URL的爬取任務(wù)之后，會找 URLManager要一批新的URL。一般來說，一個(gè)爬取任務(wù)中包含幾千到一萬個(gè)URL，這些URL***是來自不同的host，這樣，不會給一個(gè) host在很短一段時(shí)間內(nèi)造成高峰值。

ContentAcceptor負(fù)責(zé)收集來自爬蟲爬到的頁面或是其它內(nèi)容。爬蟲一般將爬取的一批頁面，比如，一百個(gè)頁面，壓縮打包成一個(gè)文件，發(fā)送給ContentAcceptor。ContentAcceptor收到后，解壓，存儲到分布式文件系統(tǒng)或是分布式數(shù)據(jù)庫，或是直接交給 ContentParser去分析。

CaptchaHandler負(fù)責(zé)處理爬蟲傳過來的captcha，通過自動(dòng)的captcha識別器，或是之前識別過的captcha的緩存，或是通過人工打碼服務(wù)，等等，識別出正確的碼，回傳給爬蟲，爬蟲按照定義好的爬取邏輯去爬取。

RobotsFileHandler負(fù)責(zé)處理和分析robots.txt文件，然后緩存下來，給ContentParser和 URLManager提供禁止爬取的信息。一個(gè)行為端正的爬蟲，原則上是應(yīng)該遵守robots協(xié)議。但是，現(xiàn)在大數(shù)據(jù)公司，為了得到更多的數(shù)據(jù)，基本上遵守這個(gè)協(xié)議的不多。robots文件的爬取，也是通過URLManager作為一種爬取類型讓分布式爬蟲去爬取的。

ProxyManager負(fù)責(zé)管理系統(tǒng)用到的所有Proxy，說白了，負(fù)責(zé)管理可以用來爬取的IP。爬蟲詢問ProxyManager，得到一批 Proxy IP，然后每次訪問的時(shí)候，會采用不同的IP。如果遇到IP被屏蔽，即時(shí)反饋給ProxyManager，ProxyManager會根據(jù)哪個(gè)host屏蔽了哪個(gè)IP做實(shí)時(shí)的聰明的調(diào)度。

Administor負(fù)責(zé)管理整個(gè)分布式爬蟲系統(tǒng)。管理者通過這個(gè)界面來配置系統(tǒng)，啟動(dòng)和停止某個(gè)服務(wù)，刪除錯(cuò)誤的結(jié)果，了解系統(tǒng)的運(yùn)行情況，等等。

各種不同類型的爬取任務(wù)，比如，像給一個(gè)URL爬取一個(gè)頁面( NormalCrawler)，像需要用戶名和密碼注冊然后才能爬取( SessionCrawler )，像爬取時(shí)先要輸入驗(yàn)證碼( CaptchaCrawler )，像需要模擬用戶的行為來爬取( Simulator )，像移動(dòng)頁面和內(nèi)容爬取( MobileCrawler )，和像App內(nèi)內(nèi)容的爬取( AppCrawler)，需要不同類型的爬蟲來爬取。當(dāng)然，也可以開發(fā)一個(gè)通用的爬蟲，然后根據(jù)不同的類型實(shí)施不同的策略，但這樣一個(gè)程序內(nèi)的代碼復(fù)雜，可擴(kuò)展性和可維護(hù)性不強(qiáng)。

一個(gè)爬蟲內(nèi)部的爬取邏輯，通過解釋從配置文件 CrawlLogic 來的命令來實(shí)現(xiàn)，而不是將爬取邏輯硬編碼在爬蟲程序里面。對于復(fù)雜的爬取邏輯，甚至可以通過用代碼寫的插件來實(shí)現(xiàn)。

ContentParser根據(jù)URLExtractionRules來抽取需要繼續(xù)爬取的URL，因?yàn)閒ocus的爬蟲只需要爬取需要的數(shù)據(jù)，不是網(wǎng)站上的每個(gè)URL都需要爬取。ContentParser還會根據(jù)FieldExtractionRules來抽取感興趣的數(shù)據(jù)，然后將原始數(shù)據(jù)結(jié)構(gòu)化。由于動(dòng)態(tài)生成的頁面很多，很多數(shù)據(jù)是通過Javascript顯示出來的，需要JavascriptEngine來幫助分析頁面。這兒需要提及下，有些頁面大量使用AJAX來實(shí)時(shí)獲取和展示數(shù)據(jù)，那么，需要一個(gè)能解釋Javascript的爬蟲類型來處理這些有AJAX的情形。

為了監(jiān)控整個(gè)系統(tǒng)的運(yùn)行情況和性能，需要 Monitor 系統(tǒng)。為了調(diào)試系統(tǒng)，保障系統(tǒng)安全有據(jù)可循，需要 Logger 系統(tǒng)。有了這些，系統(tǒng)才算比較完備。

所有的數(shù)據(jù)會存在分布式文件系統(tǒng)或是數(shù)據(jù)庫中，這些數(shù)據(jù)包括URL( URLRepo)，Page( PageRepo )和Field( FieldRepo )，至于選擇什么樣的存儲系統(tǒng)，可以根據(jù)自己現(xiàn)有的基礎(chǔ)設(shè)施和熟悉程度而定。

為了擴(kuò)大爬蟲系統(tǒng)的吞吐量，每個(gè)服務(wù)都可以橫向擴(kuò)展，包括橫向復(fù)制，或是按URL來分片(sharding)。由于使用了Zookeeper，給某個(gè)服務(wù)增加一個(gè)copy，只用啟動(dòng)這個(gè)服務(wù)就可以了，剩下的Zookeeper會自動(dòng)處理。

這里只是給出了復(fù)雜分布式爬蟲系統(tǒng)的大框架，具體實(shí)現(xiàn)的時(shí)候，還有很多的細(xì)節(jié)需要處理，這時(shí)，之前做過爬蟲系統(tǒng)，踩過坑的經(jīng)驗(yàn)就很重要了。