【51CTO.com快譯】當使用Python抓取一個網站時，通常使用urllib或Requests庫向服務器發送GET請求以接收其信息。

然而，在接收所需數據之前，需要你向網站發送一些信息，這可能是因為必須執行登錄或以某種方式與頁面交互。

?[[408135]]?

為了執行這樣的交互，Selenium是一個常用的工具。然而，它也有一些缺點，因為它有點慢，有時也很不穩定。另一種方法是發送一個POST請求包含網站需要使用請求庫的信息。

實際上，與Requests相比，Selenium變得非常慢，是因為它實際上要完成打開瀏覽器瀏覽收集數據的網站的整個工作。而對于某些其他情況，POST請求可能是更好的選擇，這使它成為Web抓取的重要工具之一。

在本文中，將簡要介紹POST方法，以及如何使用它改進Web抓取程序。

Web 抓取

盡管POST請求通常用于與API交互，但它們也有助于在網站中填寫HTML表單或自動執行其他操作。

在Web抓取過程中，能夠執行這些任務是一項重要的能力，因為在獲取數據之前必須與Web頁面進行交互是很常見的流程。

識別HTML表單

在開始向網站發送信息之前，首先需要了解它將如何接收這些信息。假設你的想法是登錄你的賬戶。

如果是這種情況，您需要做的就是在POST請求中發送用戶名和密碼。

但是，如何識別并查看HTML表單的外觀呢？這時我們可以考慮使用我們的老朋友：GET請求。使用GET并使用BeautifulSoup解析HTML，很容易看到頁面上的所有HTML表單以及它們的外觀。

代碼如下所示： 

import requests
from bs4 import BeautifulSoup
page = requests.get('http://website.com').text
soup = BeautifulSoup(page, 'html.parser')
forms = soup.find_all('form')
for form in forms:
print(form)

這就是我們簡單的登錄表單，它將成為上面代碼的輸出： 

<form action="login.html" method="post">
User Name: <input name="username" type="text"/><br/>
Password: <input name="password" type="text"/><br/>
<input id="submit" type="submit" value="Submit"/>
</form>

在這樣的表單中，“動作”是網站中你應該發送請求的地方，而“用戶名”和“密碼”是你想要填寫的字段。您還可以注意到，這些值的類型被指定為文本。

提交你的第一個 POST

現在是發送第一個POST請求。基本請求將包含兩個參數：接收請求的URL和發送的數據。

數據通常是一個字典，其中鍵是要填充的字段名，值是要填充的字段內容。數據也可以通過不同的方式傳遞，但這是一種更復雜的方法，超出了本文的范圍。

代碼也非常簡單，只需兩行就可以實現： 

payload = {'username': 'user', 'password': '1234'}
r = requests.post('http://website.com/login.html', data=payload)
print(r.status_code)

第三行代碼只是為了查看請求的狀態代碼。如果看到的狀態代碼是200，則意味著一切正常。

現在，我們可以通過將剛才創建的POST請求實現到函數中。下面是它的工作原理:

1. post_request函數將接收兩個參數:URL和發送請求的有效負載。

2. 在函數內部，我們將使用一個 try 和 except 子句讓代碼準備好處理可能的錯誤。

3. 如果代碼沒有崩潰并且我們收到了來自服務器的響應，我們將檢查這個響應是否是我們期望的響應。如果是，函數將返回它。

4. 如果我們得到不同的狀態碼，將不返回任何內容，狀態將被打印出來。

5. 如果代碼引發異常，我們希望看到發生了什么，因此該函數將打印該異常。

示例代碼如下： 

def post_request(url, payload):
try:
r = requests.post(url, data=payload)
if r.status_code == 200:
return r
else:
print(r.status_code)
except Exception as e:
print(e)

然而，根據網站的不同，為了實際執行登錄，還需要處理其他問題。好消息是，Requests庫提供了處理cookie、HTTP身份驗證等更多內容的資源。這里的目標只是使用一種常見的表單類型作為一個簡單的例子，讓未使用過POST請求的人能夠理解。

最后

特別是如果你向特定網站發送大量請求，你可能希望在代碼中插入一些隨機暫停，以免在整個代碼中使用更多的try和except子句使服務器過載。而不僅僅是在 post_request函數中以確保它已準備好處理可能在此過程中發現的其他異常。

當然，利用代理提供商來確保代碼在還需要提交請求和收集數據的情況下繼續運行，以及確保連接受到保護，也是一個很好的實踐。

本文的目的只是介紹POST請求以及它們如何在Web上收集數據。我們基本上學習了如何自動填寫表單，甚至如何登錄一個網站。

【51CTO譯稿，合作站點轉載請注明原文譯者和出處為51CTO.com】