如何正確使用 Scrapy 自帶的 FilesPipeline？
Scrapy自帶的 FilesPipeline和ImagesPipeline用來下載圖片和文件非常方便，根據(jù)它的官方文檔[1]說明，我們可以很容易地開啟這兩個(gè) Pipeline。
如果只是要下載圖片，那么用 FilesPipeline 和 ImagesPipeline 都可以，畢竟圖片也是文件。但因?yàn)槭褂? ImagesPipeline 要單獨(dú)安裝第三方庫 Pillow，所以我們以 FilesPipeline 為例來進(jìn)行說明。
假設(shè)爬蟲通過解析網(wǎng)頁的源代碼，獲取到了一張圖片，圖片的地址為：https://kingname-1257411235.cos.ap-chengdu.myqcloud.com/640.gif 當(dāng)然，png 、 jpg 、甚至 rar、pdf、zip 都可以。
為了使用 Scrapy 自帶的 FilesPipeline來下載這張圖片，我們需要做幾步設(shè)置。
定義 items
首先定義任意一個(gè) items，需要確保這個(gè) items 里面，必須包含file_urls字段和files字段，除了這兩個(gè)必備字段外，你還可以任意增加其他字段。
啟動(dòng)FilesPipeline
在settings.py中，找到 ITEM_PIPELINES配置，如果它被注釋了，那么就解除注釋。然后添加如下的配置：
- 'scrapy.pipelines.files.FilesPipeline': 1
再添加一個(gè)配置項(xiàng)FILES_STORE，它的值是你想要保存圖片的文件夾地址。
修改以后如下圖所示：
下載圖片
接下來，就進(jìn)入到我們具體的爬蟲邏輯中了。在爬蟲里面，你在任意一個(gè) parse 函數(shù)中提取到了一張或者幾張圖片的URL 后，把它(們)以列表的形式放入到 item 里面的 file_urls 字段中。如下圖所示。
注意，此時(shí)files字段不需要設(shè)置任何的值。其他非必需字段就根據(jù)你的需求只有設(shè)置即可。
獲取結(jié)果
由于我們?cè)O(shè)置了scrapy.pipelines.images.FilesPipeline的優(yōu)先級(jí)為1，是最高優(yōu)先級(jí)，所以它會(huì)比所有其他的 Pipeline 更先運(yùn)行。于是，我們可以在后面的其他Pipeline 中，檢查 item 的 files 字段，就會(huì)發(fā)現(xiàn)我們需要的圖片地址已經(jīng)在里面了。如下圖所示：
item 中的 files 字段變成了一個(gè)包含字典的列表。字典中有一項(xiàng)叫做path的 Key，它的值就是圖片在電腦上的路徑，例如full/7f471f6dbc08c2db39125b20b0471c3b21c58f3e.gif表示在images文件夾中的full文件夾中的7f471f6dbc08c2db39125b20b0471c3b21c58f3e.gif文件，如下圖所示：
文件名是該文件的 md5值，如果你想重命名，可以在后續(xù)的 pipeline 中，根據(jù) path 的值找到文件，然后修改名字。
修改請(qǐng)求頭
看到這里，大家會(huì)不會(huì)有一個(gè)疑問，在使用FilesPipeline的時(shí)候，Scrapy 會(huì)加上請(qǐng)求頭嗎?它會(huì)用哪一個(gè)請(qǐng)求頭呢?
實(shí)際上，Scrapy 在使用 FilesPipeline和ImagesPipeline時(shí)，是不會(huì)設(shè)置請(qǐng)求頭的。如果網(wǎng)站會(huì)監(jiān)控請(qǐng)求圖片或者文件的請(qǐng)求的請(qǐng)求頭，那么就可以立刻發(fā)現(xiàn)這個(gè)請(qǐng)求是通過 Scrapy 發(fā)起的。
為了證明這一點(diǎn)，我們可以查看FilesPipeline的源代碼：
在 scrapy/pipelines/files.py文件中，可以看到，F(xiàn)ilesPipeline是通過get_media_requests方法來構(gòu)造對(duì)圖片的請(qǐng)求對(duì)象的。這個(gè)請(qǐng)求對(duì)象沒有設(shè)置任何的請(qǐng)求頭。
上面的截圖是老版本的 Scrapy 的源代碼。新版本的源代碼里面，get_media_requests可能是這樣的：
- def get_media_requests(self, item, info):
- urls = ItemAdapter(item).get(self.files_urls_field, [])
- return [Request(u) for u in urls]
為了手動(dòng)加上請(qǐng)求頭，我們可以自己寫一個(gè) pipeline，繼承FilesPipeline但覆蓋get_media_requests方法，如下圖所示：
注意，在實(shí)際使用中，你可能還要加上 Host 和 Referer。
然后修改settings.py中的ITEM_PIPELINES，指向我們自定義的這個(gè)pipeline：
這樣一來，F(xiàn)ilesPipeline就能夠正確加上請(qǐng)求頭了。
最后考大家一個(gè)問題，F(xiàn)ilesPipeline發(fā)起的請(qǐng)求，會(huì)經(jīng)過下載器中間件嗎?如果要添加代理 IP 應(yīng)該怎么做?歡迎大家在本文下面評(píng)論回復(fù)。
參考資料
[1]官方文檔: https://docs.scrapy.org/en/latest/topics/media-pipeline.html#using-the-files-pipeline
本文轉(zhuǎn)載自微信公眾號(hào)「未聞Code」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系未聞Code公眾號(hào)。
