利用Python尋找命中注定的另一半, 大家都覺得不可信

作者：諸葛玥 2018-06-04 13:08:56

開發(fā) 后端

既然是Python程序員找美女，就要用python程序員的方法。今天我們的目標(biāo)是，爬社區(qū)的美女~而且，我們又要用到新的姿勢(霧)了~scrapy爬蟲框架~

既然是Python程序員找美女，就要用python程序員的方法。

今天我們的目標(biāo)是，爬社區(qū)的美女~而且，我們又要用到新的姿勢(霧)了~scrapy爬蟲框架~

[[231563]]

1scrapy原理

在寫過幾個(gè)爬蟲程序之后，我們就知道，利用爬蟲獲取數(shù)據(jù)大概的步驟：請求網(wǎng)頁，獲取網(wǎng)頁，匹配信息，下載數(shù)據(jù)，數(shù)據(jù)清洗，存入數(shù)據(jù)庫。

scrapy是一個(gè)很有名的爬蟲框架，可以很方便的進(jìn)行網(wǎng)頁信息爬取。那么scrapy到底是如何工作的呢?之前在網(wǎng)上看了不少scrapy入門的教程，大多數(shù)入門教程都配有這張圖。

_(:зゝ∠)_也不知道是這張圖實(shí)在太經(jīng)典了，還是程序員們都懶得畫圖，第一次看到這個(gè)圖的時(shí)候，米醬的心情是這樣的

請輸入描述

GIF

經(jīng)過了一番深入的理解，大概知道這幅圖的意思，讓我來舉個(gè)栗子(是的，我又要舉奇怪的栗子了)：

當(dāng)我們想吃東西的時(shí)候，我們會出門，走到街上，尋找一家想吃的點(diǎn)，然后點(diǎn)餐，服務(wù)員再通知廚房去做，最后菜到餐桌上，或者被打包帶走。這就是爬蟲程序在做的事，它要將所有獲取數(shù)據(jù)需要進(jìn)行的操作，都寫好。

而scrapy就像一個(gè)點(diǎn)餐app一般的存在，在訂餐列表(spiders)選取自己目標(biāo)餐廳里想吃的菜(items)，在收貨(pipeline)處寫上自己的收貨地址(存儲方式)，點(diǎn)餐系統(tǒng)(scrapy engine)會根據(jù)訂餐情況要求商鋪(Internet)的廚房(download)將菜做好，由于會產(chǎn)生多個(gè)外賣取貨訂單(request)，系統(tǒng)會根據(jù)派單(schedule)分配外賣小哥從廚房取貨(request)和送貨(response)。說著說著我都餓了。。。。

什么意思呢?在使用scrapy時(shí)，我們只需要設(shè)置spiders(想要爬取的內(nèi)容)，pipeline(數(shù)據(jù)的清洗，數(shù)據(jù)的存儲方式)，還有一個(gè)middlewares，是各功能間對接時(shí)的一些設(shè)置，就可以不用操心其他的過程，一切交給scrapy模塊來完成。

2創(chuàng)建scrapy工程

安裝scrapy之后，創(chuàng)建一個(gè)新項(xiàng)目

請輸入描述

我用的是pycharm編譯器，在spiders文件下創(chuàng)建zhihuxjj.py

請輸入描述

在zhihuxjj.py這個(gè)文件中，我們要編寫我們的爬取規(guī)則。

[[231565]]

3爬取規(guī)則制定(spider)

創(chuàng)建好了項(xiàng)目，讓我們來看一下我們要吃的店和菜…哦不，要爬的網(wǎng)站和數(shù)據(jù)。

我選用了知乎作為爬取平臺，知乎是沒有用戶從1到n的序列id的，每個(gè)人可以設(shè)置自己的個(gè)人主頁id，且為唯一。所以采選了選取一枚種子用戶，爬取他的關(guān)注者，也可以關(guān)注者和粉絲一起爬，考慮到粉絲中有些三無用戶，我僅選擇了爬取關(guān)注者列表，再通過關(guān)注者主頁爬取關(guān)注者的關(guān)注者，如此遞歸。

請輸入描述

對于程序的設(shè)計(jì)，是這樣的。

請輸入描述

start url是scrapy中的一個(gè)標(biāo)志性的值，它用于設(shè)置爬蟲程序的開始，也就是從哪里開始爬，按照設(shè)定，從種子用戶個(gè)人主頁開始爬便是正義，但是考慮到個(gè)人主頁的鏈接會進(jìn)行重復(fù)使用，所以在這里我將起始url設(shè)成了知乎主頁。

之后就是種子用戶的個(gè)人主頁，知乎粉絲多的大V很多，但是關(guān)注多的人就比較難發(fā)現(xiàn)了，這里我選擇了知乎的黃繼新，聯(lián)合創(chuàng)始人，想必關(guān)注了不少優(yōu)質(zhì)用戶(≖‿≖)。

分析一下個(gè)人主頁可知，個(gè)人主頁由'https://www.zhihu.com/people/' + 用戶id 組成，我們要獲取的信息是用callback回調(diào)函數(shù)(敲黑板!!劃重點(diǎn)!!)的方式設(shè)計(jì)，這里一共設(shè)計(jì)了兩個(gè)回調(diào)函數(shù)：用戶的關(guān)注列表和關(guān)注者的個(gè)人信息。

請輸入描述

使用chrome瀏覽器查看上圖的頁面可知獲取關(guān)注列表的url，以及關(guān)注者的用戶id。

將鼠標(biāo)放在用戶名上。

請輸入描述

可以獲得個(gè)人用戶信息的url。分析url可知：

請輸入描述

so，我們在上一節(jié)中創(chuàng)建的zhihuxjj.py文件中寫入以下代碼。

請輸入描述

這里需要劃重點(diǎn)的是yield的用法，以及item['name']，將爬取結(jié)果賦值給item，就是告訴系統(tǒng)，這是我們要選的菜…啊呸…要爬的目標(biāo)數(shù)據(jù)。

4設(shè)置其他信息

在items.py文件中，按照spider中設(shè)置的目標(biāo)數(shù)據(jù)item，添加對應(yīng)的代碼。

請輸入描述

在pipeline.py中添加存入數(shù)據(jù)庫的代碼(數(shù)據(jù)庫咋用上一篇文章寫了哦~)。

請輸入描述

因?yàn)槭褂昧藀ipeline.py，所以我們還需要再setting.py文件中，將ITEM_PIPELINE注釋解除，這里起到連接兩個(gè)文件的作用。

請輸入描述

到這里，基本就都設(shè)置好了，程序基本上就可以跑了。不過因?yàn)閟crapy是遵循robots.txt法則的，所以讓我們來觀察一下知乎的法則https://www.zhihu.com/robots.txt

emmmmmmm，看完法則了嗎，很好，然后我們在setting.py中，將ROBOTSTXT_OBEY 改成 False。(逃

請輸入描述

好像…還忘了點(diǎn)什么，對了，忘記設(shè)置headers了。通用的設(shè)置headers的方法同樣是在setting.py文件中，將DEFAULTREQUESTHEADERS的代碼注釋狀態(tài)取消，并設(shè)置模擬瀏覽器頭。知乎是要模擬登錄的，如果使用游客方式登錄，就需要添加authorization，至于這個(gè)authorization是如何獲取的，我，就，不，告，訴，你(逃

請輸入描述

為了減少服務(wù)器壓力&防止被封，解除DOWNLOADDELAY注釋狀態(tài)，這是設(shè)置下載延遲，將下載延遲設(shè)為3(robots法則里要求是10，但10實(shí)在太慢了_(:зゝ∠)知乎的程序員小哥哥看不見這句話看不見這句話…

請輸入描述

寫到這里你會發(fā)現(xiàn)，很多我們需要進(jìn)行的操作，scrapy都已經(jīng)寫好了，只需要將注釋去掉，再稍作修改，就可以實(shí)現(xiàn)功能了。scrapy框架還有很多功能，可以閱讀官方文檔了解。

[[231568]]

5運(yùn)行scrapy文件

寫好scrapy程序后，我們可以在終端輸入

運(yùn)行文件。

但也可以在文件夾中添加main.py，并添加以下代碼。

然后直接用pycharm運(yùn)行main.py文件即可，然后我們就可以愉快的爬知乎用戶啦~(小姐姐我來啦~

6查找美女

關(guān)于怎么快速學(xué)python，可以加下小編的python學(xué)習(xí)群:611+530+101，不管你是小白還是大牛，小編我都?xì)g迎，不定期分享干貨

每天晚上20:00都會開直播給大家分享python學(xué)習(xí)知識和路線方法，群里會不定期更新最新的教程和學(xué)習(xí)方法，大家都是學(xué)習(xí)python的，或是轉(zhuǎn)行，或是大學(xué)生，還有工作中想提升自己能力的，如果你是正在學(xué)習(xí)python的小伙伴可以加入學(xué)習(xí)。最后祝所有程序員都能夠走上人生巔峰，讓代碼將夢想照進(jìn)現(xiàn)實(shí)

經(jīng)過了X天的運(yùn)行，_(:зゝ∠)_爬到了7w條用戶數(shù)據(jù)，爬取深度5。(這爬取速度讓我覺得有必要上分布式爬蟲了…這個(gè)改天再嘮)

有了數(shù)據(jù)我們就可以選擇，同城市的用戶進(jìn)行研究了……

先國際慣例的分析一下數(shù)據(jù)。