我們知道，URL 由下面幾個部分組成：

其中Query部分，中文叫做查詢參數(shù)。它在 URL 中，是由等號連接的鍵值對。這些鍵值對有一些是有效的，例如：

https://open.163.com/newview/movie/courseintro?newurl=MDAPTVFE8 

這個網(wǎng)址中的newurl=MDAPTVFE8是不能修改的，一旦你改了，那就不再是這個頁面了。

但還有一些網(wǎng)址，他們的查詢參數(shù)對網(wǎng)頁的顯示沒有任何影響，例如下面兩個網(wǎng)址：

https://www.163.com/dy/article/G7NINAJS0514HDK6.html?from=nav 
https://www.163.com/dy/article/G7NINAJS0514HDK6.html 

當(dāng)你訪問這兩個網(wǎng)址，你會發(fā)現(xiàn)它們打開的是同一個頁面。因?yàn)檫@些參數(shù)是給網(wǎng)站用的。網(wǎng)站使用這些參數(shù)來統(tǒng)計用戶是從哪個頁面跳轉(zhuǎn)到這個頁面的。

在我們開發(fā)新聞通用爬蟲的時候，這種可有可無的查詢參數(shù)會對基于 URL 的去重導(dǎo)致嚴(yán)重干擾。同一篇新聞，可能因?yàn)閺牟煌捻撁嫣D(zhuǎn)過來，就有不同的查詢參數(shù)，那么就可能會被當(dāng)做多篇不同的新聞。

我們在對新聞進(jìn)行去重的時候，一般會有一個三級去重邏輯：基于 URL 去重，基于新聞?wù)奈淖秩ブ?，基于正文語義去重。他們對資源的消耗逐漸增加，因此，如果能通過 URL 確認(rèn)是重復(fù)的新聞，就沒有必要經(jīng)過文本去重;能夠經(jīng)過文本確認(rèn)是重復(fù)的新聞，就沒有必要使用語義去重。這種無效的參數(shù)，會導(dǎo)致進(jìn)入第二級的新聞數(shù)量增加，從而消耗更多的服務(wù)器資源。

為了防止這種無效的參數(shù)干擾基于 URL 去重的邏輯，因此我們需要提前移除無效的 URL 參數(shù)。

假設(shè)現(xiàn)在有一個網(wǎng)址：https://www.kingname.info/article?docid=123&from=nav&output=json&ts=1849304323。我們通過人工標(biāo)注，已經(jīng)知道，對于https://www.kingname.info這個網(wǎng)站，docid和output參數(shù)是有效參數(shù)，必須保留;from和ts參數(shù)是無效參數(shù)，可以移除。那么，我們?nèi)绾握_移除這些不需要的參數(shù)字段呢?

肯定有同學(xué)會說使用正則表達(dá)式來移除。那么你可以試一試，正則表達(dá)式應(yīng)該怎么寫。提示一下，有一些參數(shù)值里面也會有=符號、有一些必要字段的值，可能恰好包含無效字段的名字。

今天，我們不使用正則表達(dá)式，而使用 Python 自帶的 urllib 模塊中的幾個函數(shù)來實(shí)現(xiàn)安全完美的移除無效字段的方法。

這個方法，需要使用到urlparse parse_qs urlencode和urlunparse。我們來看一段代碼：

from urllib.parse import urlparse, parse_qs, urlencode, urlunparse 
 
url = 'https://www.kingname.info/article?docid=123&from=nav&output=json&ts=1849304323' 
useless_field = ['from', 'ts'] 
parser = urlparse(url) 
query = parser.query 
query_dict = parse_qs(query) 
for field in useless_field: 
    if field in query_dict: 
        query_dict.pop(field) 
 
new_query = urlencode(query_dict, doseq=True) 
new_parser = parser._replace(query=new_query) 
new_url = urlunparse(new_parser) 
print(new_url) 

運(yùn)行效果如下圖所示：

其中urlparse和urlunparse是一對相反的函數(shù)，其中前者把網(wǎng)址轉(zhuǎn)成ParseResult對象，后者把ParseResult對象轉(zhuǎn)回網(wǎng)址字符串。

ParseResult對象的.query屬性，是一個字符串，格式如下：

parse_qs與urlencode也是一對相反的方法。其中前者把 .query輸出的字符串轉(zhuǎn)成字典，而后者把字段轉(zhuǎn)成.query形式的字符串：

當(dāng)我們使用parse_qs把 query轉(zhuǎn)成字典以后，就可以使用字典的.pop方法，把無效的字段都移除，然后重新生成新的.query字符串。

由于ParseResult對象的.query屬性是只讀屬性，不能覆蓋，因此我們需要調(diào)用一個內(nèi)部方法parser._replace把新的.query字段替換上去，生成新的 ParseResult對象。最后再把它轉(zhuǎn)回網(wǎng)址。

使用這個方法，我們就可以安全地從 URL 中移除無效字段，而不用去寫復(fù)雜的正則表達(dá)式了。

本文轉(zhuǎn)載自微信公眾號「未聞Code」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系未聞Code公眾號。