全球各地的程序員都是怎樣使用 Python？

我們從最常用的 Python 包入手，去解答上述這個問題。最初，我列出過去一年在 PyPI 上下載次數最多的 Python 包。接下來，深入研究其用途、它們之間的關系和它們備受歡迎的原因。

1. Urllib3

下載次數：8.93 億

Urllib3是一個 Python 的 HTTP 客戶端，它擁有 Python 標準庫中缺少的許多功能：

• 線程安全
• 連接池
• 客戶端 SSL/TLS 驗證
• 使用分段編碼上傳文件
• 用來重試請求和處理 HTTP 重定向的助手
• 支持 gzip 和 deflate 編碼
• HTTP 和 SOCKS 的代理支持

不要被名字所誤導，Urllib3并不是urllib2的后繼者，而后者是 Python 核心的一部分。如果你想使用盡可能多的 Python 核心功能，或者你能安裝什么東西是受限，那么請查看 urlllib.request。

https://docs.python.org/3/library/urllib.request.html#module-urllib.request

對最終用戶來說，我強烈建議使用 requests 包（參閱列表中的 #6）。這個包之所以會排名第一，是因為有差不多 1200 個包依賴 urllib3，其中許多包在這個列表中的排名也很高。

https://libraries.io/pypi/urllib3/dependents

2. Six

下載次數：7.32 億

six 是一個是 Python 2 和 3 的兼容性庫。這個項目旨在支持可同時運行在 Python 2 和 3 上的代碼庫。

它提供了許多可簡化 Python 2 和 3 之間語法差異的函數。一個容易理解的例子是six.print_()。在 Python 3 中，打印是通過print()函數完成的，而在 Python 2 中，print后面沒有括號。因此，有了six.print_()后，你就可以使用一個語句來同時支持兩種語言。

一些事實：

• 它的名字叫six，是因為二乘以三等于六。
• 同類庫還可以看看future包。
• 如果你要將代碼轉換為 Python3（并停止支持 2），請查看 2to3。

雖然我理解它為什么這么受歡迎，但我希望人們能完全放棄 Python 2，因為要知道從 2020 年 1 月 1 日起 Python 2 的官方支持就已停止。

PyPI 頁面

https://pypi.org/project/six/

文檔

https://six.readthedocs.io/

3. botocore、boto3、s3transfer、awscli

這里，我把相關的幾個項目列在一起：

botocore（#3，6.6 億次下載）

s3transfer（#7，5.84 億次下載）

awscli（#17，3.94 億次下載）

boto3（#22，3.29 億次下載）

Botocore是 AWS 的底層接口。Botocore是 Boto3 庫（#22）的基礎，后者讓你可以使用 Amazon S3 和 Amazon EC2 一類的服務。Botocore 還是 AWS-CLI 的基礎，后者為 AWS 提供統(tǒng)一的命令行界面。

S3transfer（#7）是用于管理 Amazon S3 傳輸的 Python 庫。它正在積極開發(fā)中，其介紹頁面不推薦人們現(xiàn)在使用，或者至少等版本固定下來再用，因為其 API 可能發(fā)生變化，在次要版本之間都可能更改。Boto3、AWS-CLI和其他許多項目都依賴s3transfer。

令人驚訝的是，這些針對 AWS 庫的排名竟如此之高——這充分說明了 AWS 有多厲害。

4. Pip

下載次數：6.27 億

我想，你們大多數人都知道并且很喜歡 pip，它是 Python 的包安裝器。你可以用 pip 輕松地從 Python 包索引和其他索引（例如本地鏡像或帶有私有軟件的自定義索引）來安裝軟件包。

有關 pip 的一些有趣事實：

• pip是“Pip Installs Packages”的首字母遞歸縮寫。
• pip很容易使用。要安裝一個包只需pip install <package name>即可，而刪除包只需pip uninstall <package name>即可。
• 最大優(yōu)點之一是它可以獲取包列表，通常以requirements.txt文件的形式獲取。該文件能選擇包含所需版本的詳細規(guī)范。大多數 Python 項目都包含這樣的文件。
• 如果結合使用pip與virtualenv（列表中的 #57），就可以創(chuàng)建可預測的隔離環(huán)境，同時不會干擾底層系統(tǒng)，反之亦然。要了解更多細節(jié)，請查看這篇文章：

https://medium.com/better-programming/stop-installing-python-packages-globally-use-virtual-environments-a31dee9fb2de

5. Python-dateutil

下載次數：6.17 億

python-dateutil模塊提供了對標準datetime模塊的強大擴展。我的經驗是，常規(guī)的Python datetime缺少哪些功能，python-dateutil就能補足那一塊。

你可以用這個庫做很多很棒的事情。其中，我發(fā)現(xiàn)的一個特別有用的功能就是：模糊解析日志文件中的日期，例如：

from dateutil.parser import parse 
 
logline = 'INFO 2020-01-01T00:00:01 Happy new year, human.' 
timestamp = parse(log_line, fuzzy=True) 
print(timestamp) 
# 2020-01-01 00:00:01 

6. Requests

下載次數：6.11 億

Requests建立在我們的 #1 庫——urllib3基礎上。它讓 Web 請求變得非常簡單。相比urllib3來說，很多人更喜歡這個包。而且使用它的最終用戶可能也比urllib3更多。后者更偏底層，并且考慮到它對內部的控制級別，它一般是作為其他項目的依賴項。

下面這個例子說明 requests 用起來有多簡單：

import requests 
 
r = requests.get('https://api.github.com/user', auth=('user', 'pass')) 
r.status_code 
# 200 
r.headers['content-type'] 
# 'application/json; charset=utf8' 
r.encoding 
# 'utf-8' 
r.text 
# u'{"type":"User"...' 
r.json() 
# {u'disk_usage': 368627, u'private_gists': 484, ...} 

PyPI 頁面

https://pypi.org/project/requests

文檔

https://2.python-requests.org/en/master/

7. S3transfer

這里把 #3、#7、#17 和 #22 放在一起介紹，因為它們的關系非常密切。

8. Certifi

下載次數：5.52 億

近年來，幾乎所有網站都轉向 SSL，你可以通過地址欄中的小鎖符號來識別它。加了小鎖意味著與該站點的通信是安全和加密的，能防止竊聽行為。

小鎖告訴我們此網站已使用 SSL 保護

加密過程是基于 SSL 證書的，并且這些 SSL 證書由受信任的公司或非營利組織（如 LetsEncrypt）創(chuàng)建。這些組織使用他們的（中間）證書對這些證書進行數字簽名。

你的瀏覽器使用這些證書的公開可用部分來驗證這些簽名，這樣就能確保你正查看的是真實內容，并且沒有人能窺探到通信數據。Python 軟件也能做同樣事情。這就是 certifi 的用途所在。它與 Chrome、Firefox 和 Edge 等網絡瀏覽器隨附的根證書集合沒有太大區(qū)別。

Certifi是根證書的一個精選集合，有了它，你的 Python 代碼就能驗證 SSL 證書的可信度。

如此處所示，許多項目信任并依賴 certifi。這也是該項目排名如此之高的原因所在。

https://libraries.io/pypi/certifi/dependents

certifi PyPI 頁面

https://pypi.org/project/certifi/

文檔

https://certifiio.readthedocs.io/en/latest/

9. Idna

下載次數：5.27 億

根據其 PyPI 頁面，idna提供了“對 RFC5891 中指定的應用程序中國際化域名（IDNA）協(xié)議的支持。”

可能你像我一樣也是一頭霧水，不知道Idna是什么，有什么用！據悉，應用程序中的國際化域名（IDNA）是一種用來處理包含非 ASCII 字符的域名機制。但是，原始域名系統(tǒng)已經提供對基于非 ASCII 字符的域名支持。所以，哪有問題？

問題在于應用程序（例如電子郵件客戶端和 Web 瀏覽器）不支持非 ASCII 字符。更具體地說，電子郵件和 HTTP 用的協(xié)議不支持這些字符。對許多國家來說，這沒什么問題，但是像中國、俄羅斯、德國、希臘和印度尼西亞等國家，這是個問題。最后，來自這些地方的一群聰明人想到 IDNA。

IDNA的核心是兩個函數：ToASCII和ToUnicode。ToASCII會將國際 Unicode 域轉換為 ASCII 字符串。ToUnicode則逆轉該過程。在IDNA包中，這些函數稱為idna.encode()和idna.decode()，如以下代碼片段所示：

import idna 
idna.encode('ドメイン.テスト') 
# b'xn--eckwd4c7c.xn--zckzah' 
print(idna.decode('xn--eckwd4c7c.xn--zckzah')) 
# ドメイン.テスト 

如果你是受虐狂，則可以閱讀 RFC-3490 了解這一編碼的詳細信息。

PyPI 頁面

https://pypi.org/project/idna/

GitHub 頁面

https://github.com/kjd/idna

10. PyYAML

下載次數：5.25 億

YAML是一種數據序列化格式。它的設計宗旨是讓人類和計算機都能很容易地閱讀代碼——人類很容易讀寫它的內容，計算機也可以解析它。

PyYAML是 Python 的YAML解析器和發(fā)射器，這意味著它可以讀寫YAML。它會把任何 Python 對象寫成YAML：列表、字典，甚至是類實例都包括在內。

Python 提供了自己的配置解析器，但是與 Python 的ConfigParser的基本.ini文件結構相比，YAML 提供更多功能。

https://docs.python.org/3/library/configparser.html

例如，YAML可以存儲任何數據類型：布爾值、列表、浮點數等等。ConfigParser會將所有內容存儲為內部字符串。如果要使用ConfigParser加載整數，則你需要指定自己要顯式獲取一個int：

config.getint(“section”, “my_int”) 

pyyaml能自動識別類型，所以這將使用PyYAML返回你的int：

config[“section”][“my_int”] 

YAML還允許任意的 deep trees，雖然不是每個項目都需要這種東西，但是需要時，它就可以派上用場。你可能有自己的偏好，但是許多項目都使用YAML作為配置文件，所以這個項目是很受歡迎的。

PyPI 頁面

https://pypi.org/project/PyYAML/

文檔

https://pyyaml.org/

11. Pyasn1

下載次數：5.12 億

像上面的IDNA一樣，這個項目也非常有用：

ASN.1 類型和 DER/BER/CER 編碼（X.208）的純 Python 實現(xiàn)

所幸這個已有數十年歷史的標準有很多信息可用。ASN.1是 Abstract Syntax Notation One 的縮寫，它就像是數據序列化的教父。它來自電信行業(yè)。也許你知道協(xié)議緩沖區(qū)或 Apache Thrift？這就是它們的 1984 年版本。

ASN.1 描述了系統(tǒng)之間的跨平臺接口，以及可以通過該接口發(fā)送的數據結構。

還記得 Certifi（請參閱 #8）嗎？ASN.1 用于定義 HTTPS 協(xié)議和其他許多加密系統(tǒng)中使用的證書格式。它也用在了 SNMP、LDAP、Kerberos、UMTS、LTE 和 VOIP 協(xié)議中。

這是一個非常復雜的規(guī)范，并且某些實現(xiàn)已被證明滿是漏洞。你可能還會喜歡關于 ASN.1 的這個有趣的 Reddit 帖子。

https://www.reddit.com/r/programming/comments/1hf7ds/useful_old_technologies_asn1/

一個建議，除非你真的需要，否則還是敬而遠之吧。但由于它用在很多地方，因此許多包都依賴這個包。

12. Docutils

下載次數：5.08 億

Docutils是一個模塊化系統(tǒng)，用來將純文本文檔處理為很多有用的格式，例如 HTML、XML 和 LaTeX 等。Docutils能讀取reStructuredText格式的純文本文檔，這種格式是類似于 MarkDown 的易讀標記語法。

你可能聽說過，甚至讀過 PEP 文檔。

https://www.python.org/dev/peps/pep-0012/

那么什么是 PEP 文檔？最早的 PEP 文檔，PEP-1 為我們提供很好的解釋：

PEP 的意思是 Python 增強提案。一個 PEP 就是一個設計文檔，用來向 Python 社區(qū)提供信息，或描述 Python 或其過程或環(huán)境的新功能。PEP 應該提供該功能的簡明技術規(guī)范以及功能的原理。

PEP 文檔使用固定的reStructuredText模板編寫，并使用docutils轉換為格式正確的文檔。

Docutils 也是Sphinx的核心。Sphinx用于創(chuàng)建文檔項目。如果Docutils是一臺機器，則Sphinx就是工廠。它最初是為了構建 Python 文檔而創(chuàng)建的，但其他許多項目也使用它為代碼提供文檔。你可能已經讀過 readthedocs.org 上的文檔，那里的大多數文檔都是由Sphinx和docutils創(chuàng)建的。

13. Chardet

下載次數：5.01 億

你可以用chardet模塊來檢測文件或數據流的字符集。比如說，需要分析大量隨機文本時，這會很有用。但你也可以在處理遠程下載的數據，但不知道用的是什么字符集時使用它。

安裝chardet后，你還有一個名為chardetect的命令行工具，用法如下：

chardetect somefile.txt 
somefile.txt: ascii with confidence 1.0 

你還能通過編程方式使用這個庫，具體參閱文檔。Chardet是requests等許多包的需求。我覺得沒有多少人會單獨使用chardet，所以它這么流行肯定是因為這些依賴項。

https://chardet.readthedocs.io/en/latest/usage.html

14. RSA

下載次數：4.92 億

rsa包是一個純 Python 的 RSA 實現(xiàn)。它支持：

• 加密和解密
• 簽名和驗證簽名
• 根據 PKCS#1 1.5 版生成密鑰

它既可以用作 Python 庫，也能在命令行中使用。

一些事實：

• RSA 是 RonRivest、Adi Shamir 和 Leonard Adleman 三人姓的首字母。他們在 1977 年發(fā)明該算法。
• RSA 是最早的公鑰密碼系統(tǒng)之一，被廣泛用于安全數據傳輸。在這樣的密碼系統(tǒng)中，有兩個密鑰：公共部分和私有部分。你用公鑰加密數據，只能用私鑰解密數據。
• RSA 是一種 slow algorithm。它很少用于直接加密用戶數據。通常，RSA 用于安全傳遞對稱密鑰加密的共享密鑰，這樣加密和解密大量數據時會快得多。

以下代碼段展示了如何在一個非常簡單的用例中使用 RSA：

import rsa  
  
# Bob creates a key pair:  
(bob_pub, bob_priv) = rsa.newkeys(512)  
  
# Alice ecnrypts a message for Bob  
# with his public key  
crypto = rsa.encrypt('hello Bob!', bob_pub)  
  
# When Bob gets the message, he  
# decrypts it with his private key:  
message = rsa.decrypt(crypto, bob_priv)  
print(message.decode('utf8'))  
# hello Bob!  

假設 Bob 保留自己的私鑰 private，那么 Alice 可以確定他是唯一可以閱讀該消息的人。但是，Bob 不能確定是 Alice 發(fā)送了該消息，因為任何人都可以獲取并使用他的公鑰。為證明是她，Alice 可以用她的私鑰在郵件上簽名。Bob 可以用她的公鑰驗證此簽名，確保消息的確是她發(fā)送的。

諸如google-auth（#37）、oauthlib（#54）、awscli（#17）之類的包都依賴rsa包。很少有人會將這個工具獨立使用，因為有更快、更原生的替代方法。

15. Jmespath

下載次數：4.73 億

在 Python 中用 JSON 非常容易，因為它在 Python 字典上的映射非常好。對我來說，這是它最好的特性之一。

實話實說——盡管我已經用 JSON 做過很多工作，但我從未聽說過這個包。我只是用 json.loads() 并從字典中手動獲取數據，也許再搞個循環(huán)什么的。

JMESPath，發(fā)音為“James path”，使 Python 中的 JSON 更容易使用。它允許你聲明性地指定如何從 JSON 文檔中提取元素。以下是一些基本示例：

import jmespath 
 
# Get a specific element 
d = {"foo": {"bar": "baz"}} 
print(jmespath.search('foo.bar', d)) 
# baz 
 
# Using a wildcard to get all names 
d = {"foo": {"bar": [{"name": "one"}, {"name": "two"}]}} 
print(jmespath.search('foo.bar[*].name', d)) 
# [“one”, “two”] 

PyPI 頁面

https://pypi.org/project/jmespath/

文檔

http://jmespath.org/

16. Setuptools

下載次數：4.01 億

它是用于創(chuàng)建 Python 包的工具。不過，其文檔很糟糕。它沒有清晰描述它的用途，并且文檔中包含無效鏈接。最好的信息源是這個站點，特別是這個創(chuàng)建 Python 包的指南。

https://packaging.python.org/

https://packaging.python.org/tutorials/packaging-projects/

17. Awscli

這里把 #3、#7、#17 和 #22 放在一起介紹，因為它們的關系非常密切。

18. Pytz

下載次數：3.94 億次

像dateutils（#5）一樣，這個庫可幫助你處理日期和時間。有時候，時區(qū)處理起來可能很麻煩。幸好有這樣的包，可以讓事情變得簡單些。

我自己關于計算機上處理時間的經驗總結來說是：始終在內部使用 UTC。僅當生成供人類讀取的輸出時，才轉換為本地時間。

這是pytz用法的示例：

from datetime import datetime 
from pytz import timezone 
 
amsterdam = timezone('Europe/Amsterdam') 
 
ams_time = amsterdam.localize(datetime(2002, 10, 27, 6, 0, 0)) 
print(ams_time) 
# 2002-10-27 06:00:00+01:00 
 
# It will also know when it's Summer Time 
# in Amsterdam (similar to Daylight Savings Time): 
ams_time = amsterdam.localize(datetime(2002, 6, 27, 6, 0, 0)) 
print(ams_time) 
# 2002-06-27 06:00:00+02:00 

19. Futures

下載次數：3.89 億

從 Python 3.2 開始，python 提供current.futures模塊，可幫助你實現(xiàn)異步執(zhí)行。futures 包是該庫適用于 Python 2 的 backport。它不適用于 Python3 用戶，因為 Python 3 原生提供了該模塊。

正如我之前提到的，從 2020 年 1 月 1 日起，Python 2 的官方支持停止。希望我明年重新再來看的時候，這個包不會再出現(xiàn)在前 22 名中吧。

下面是 futures 的基本示例：

from concurrent.futures import ThreadPoolExecutor 
from time import sleep 
 
def return_after_5_secs(message): 
  sleep(5) 
  return message 
 
pool = ThreadPoolExecutor(3) 
 
future = pool.submit(return_after_5_secs, 
                     ("Hello world")) 
 
print(future.done()) 
# False 
sleep(5) 
print(future.done()) 
# True 
print(future.result()) 
# Hello World 

如你所見，你可以創(chuàng)建一個線程池并提交一個要由這些線程之一執(zhí)行的函數。同時，你的程序將繼續(xù)在主線程中運行。這是并行執(zhí)行程序的簡便方法。

20. Colorama

下載次數：3.7 億

使用 Colorama，你可以為終端添加一些顏色：

https://pypi.org/project/colorama/

這樣做起來非常容易，具體請查看以下示例代碼：

from colorama import Fore, Back, Style 
 
print(Fore.RED + 'some red text') 
print(Back.GREEN + 'and with a green background') 
print(Style.DIM + 'and in dim text') 
print(Style.RESET_ALL) 
print('back to normal now') 

21. Simplejson

下載次數：3.41 億

原生的json模塊有什么問題，才需要這種高級替代方案呢？并沒有！實際上，Python 的json就是simplejson。但是simplejson也有一些優(yōu)點：

• 它適用于更多的 Python 版本。
• 它比 Python 更新的頻率更頻繁。
• 它有用 C 編寫的（可選）部分，因此速度非常快。

你經常會在支持 JSON 的腳本中看到以下內容：

try: 
  import simplejson as json 
except ImportError: 
  import json 

除非你需要標準庫中所沒有的內容，否則我只會使用json。Simplejson可以比json快很多，因為它有一些用 C 實現(xiàn)的部分。除非你正在處理成千上萬個 JSON 文件，否則這種優(yōu)勢對你來說不是什么大事。還可以看看 UltraJSON，它應該更快一些，因為它幾乎所有的代碼都是用 C 編寫的。

22. Boto3

這里把 #3、#7、#17 和 #22 放在一起介紹，因為它們的關系非常密切。

23. 小結

僅僅介紹這 22 個包恐怕不夠，因為排在后面的許多包都是像我們這樣最終用戶感興趣的。

通過制作這份列表，我了解到一些新東西：

許多排名靠前的 package（包）都提供某種核心功能，例如處理時間、配置文件、加密和標準化等。它們往往是其他項目的依賴項。

一個常見的主題是連接性。這些包大多允許你連接到服務器和服務，或支持其他包這樣做。

剩下的那些是對 Python 的擴展。創(chuàng)建 Python 包的工具、幫助創(chuàng)建文檔的工具、創(chuàng)建版本之間兼容性的庫等。