piwheels是如何為樹莓派用戶節(jié)省時(shí)間的
通過為樹莓派提供預(yù)編譯的 Python 包,piwheels 項(xiàng)目為用戶節(jié)省了大量的時(shí)間和精力。
piwheels 自動(dòng)為 Python 包索引 PiPi 上的所有項(xiàng)目構(gòu)建 Python wheels(預(yù)編譯的 Python包),并使用了樹莓派硬件以確保其兼容性。這意味著,當(dāng)樹莓派用戶想要使用 pip 安裝一個(gè) Python 庫時(shí),他們會(huì)得到一個(gè)現(xiàn)成編譯好的版本,并保證可以在樹莓派上良好的工作。這使得樹莓派用戶更容易入門并開始他們的項(xiàng)目。
Piwheels logo
當(dāng)我在 2018 年 10 月寫 piwheels:為樹莓派提供快速 Python 包安裝時(shí),那時(shí) piwheels 項(xiàng)目已經(jīng)有一年了,并且已經(jīng)證明了其為樹莓派用戶節(jié)省大量時(shí)間和精力。但當(dāng)這個(gè)項(xiàng)目進(jìn)入第二年時(shí),它為樹莓派提供了預(yù)編譯的 Python 包做了更多工作。
Raspberry Pi 4
它是怎么工作的
樹莓派的主要操作系統(tǒng) Raspbian 預(yù)配置使用了 piwheels,所以用戶不需要做任何特殊的事情就可以使用 piwheels。
配置文件(在 /etc/pip.conf)告訴 pip 使用 piwheels.org 作附加索引,因此 pip 會(huì)首先查找 PyPI,然后查找 piwheels。piwheels 的網(wǎng)站被托管在一個(gè)樹莓派 3 上,該項(xiàng)目構(gòu)建的所有 wheels 都托管在該樹莓派上。它每月提供 100 多萬個(gè)軟件包——這對(duì)于一臺(tái) 35 美元的電腦來說還真不賴!
除了提供網(wǎng)站服務(wù)的主樹莓派以外,piwheels 項(xiàng)目還使用其他七個(gè)樹莓派來構(gòu)建軟件包。其中一些運(yùn)行 Raspbian Jessie,為 Python 3.4 構(gòu)建 wheels;另外一些運(yùn)行 Raspbian Stretch 為 Python 3.5 構(gòu)建;還有一些運(yùn)行 Raspbian Buster 為 Python 3.7 構(gòu)建。該項(xiàng)目通常不支持其他 Python 版本。還有一個(gè)“合適的服務(wù)器”——一臺(tái)運(yùn)行 Postgres 數(shù)據(jù)庫的虛擬機(jī)。由于樹莓派 3 只有 1GB 的內(nèi)存,所以(非常大的)數(shù)據(jù)庫不能在其上很好地運(yùn)行,所以我們把它移到了虛擬機(jī)上。帶 4GB 內(nèi)存的樹莓派 4 可能是合用的,所以我們將來可能會(huì)用到它。
這些樹莓派都在“派云”中的 IPv6 網(wǎng)絡(luò)上——這是一項(xiàng)由總部位于劍橋的托管公司 Mythic Beasts 提供的卓越服務(wù)。
Mythic Beasts hosting service
下載和統(tǒng)計(jì)趨勢(shì)
每次下載 piwheels 文件時(shí),它都會(huì)記錄在數(shù)據(jù)庫中。這提供了對(duì)什么包最受歡迎以及人們使用什么 Python 版本和操作系統(tǒng)的統(tǒng)計(jì)。我們沒有太多來自用戶代理的信息,但是因?yàn)闃漭?1/Zero 的架構(gòu)顯示為 “armv6”,樹莓派 2/¾ 顯示為 “armv7”,所以我們可以將它們區(qū)分開來。
截至 2019 年 12 月中旬,從 piwheels 下載的軟件包超過 1400 萬個(gè),僅 2019 年就有近 900 萬個(gè)。
自項(xiàng)目開始以來最受歡迎的 10 個(gè)軟件包是:
- pycparser(821,060 個(gè)下載)
- PyYAML(366,979 個(gè)下載)
- numpy(354,531 個(gè)下載)
- cffi(336,982 個(gè)下載)
- MarkupSafe(318,878 個(gè)下載)
- future(282,349 個(gè)下載)
- aiohttp(277,046 個(gè)下載)
- cryptography(276,167 個(gè)下載)
- home-assistant-frontend(266,667 個(gè)下載)
- multidict(256,185 個(gè)下載)
請(qǐng)注意,許多純 Python 包,如 urllib3,都是作為 PyPI 上的 wheels 提供的;因?yàn)檫@些是跨平臺(tái)兼容的,所以通常不會(huì)從 piwheels 下載,因?yàn)?PyPI 優(yōu)先。
隨著時(shí)間的推移,我們也看到了使用哪些 Python 版本的趨勢(shì)。這里顯示了 Raspbian Buster 發(fā)布時(shí)從 3.5 版快速升級(jí)到了 Python 3.7:
Data from piwheels on Python versions used over time
你可以在我們的這篇 統(tǒng)計(jì)博文 看到更多的統(tǒng)計(jì)趨勢(shì)。
節(jié)省的時(shí)間
每個(gè)包構(gòu)建都被記錄在數(shù)據(jù)庫中,并且每個(gè)下載也被存儲(chǔ)。交叉引用下載數(shù)和構(gòu)建時(shí)間顯示了節(jié)省了多少時(shí)間。一個(gè)例子是 numpy —— 最新版本大約需要 11 分鐘來構(gòu)建。
迄今為止,piwheels 項(xiàng)目已經(jīng)為用戶節(jié)省了總計(jì)超過 165 年的構(gòu)建時(shí)間。按照目前的使用率,piwheels 項(xiàng)目每天可以節(jié)省 200 多天。
除了節(jié)省構(gòu)建時(shí)間,擁有預(yù)編譯的 wheels 也意味著人們不必安裝各種開發(fā)工具來構(gòu)建包。一些包需要其他 apt 包來訪問共享庫。弄清楚你需要哪一個(gè)可能會(huì)很痛苦,所以我們也讓這一步變得容易了。首先,我們找到了這個(gè)過程,在博客上記錄了這個(gè)過程。然后,我們將這個(gè)邏輯添加到構(gòu)建過程中,這樣當(dāng)構(gòu)建一個(gè) wheels 時(shí),它的依賴關(guān)系會(huì)被自動(dòng)計(jì)算并添加到包的項(xiàng)目頁面中:
numpy dependencies
piwheels 的下一步是什么?
今年,我們推出了項(xiàng)目頁面(例如,numpy),這是一種非常有用的方式,可以讓人們以人類可讀的方式查找項(xiàng)目信息。它們還使人們更容易報(bào)告問題,例如 piwheels 中缺少一個(gè)項(xiàng)目,或者他們下載的包有問題。
2020 年初,我們計(jì)劃對(duì) piwheels 項(xiàng)目進(jìn)行一些升級(jí),以啟用新的 JSON 應(yīng)用編程接口,這樣你就可以自動(dòng)檢查哪些版本可用,查找項(xiàng)目的依賴關(guān)系,等等。
下一次 Debian/Raspbian 升級(jí)要到 2021 年年中才會(huì)發(fā)生,所以在那之前我們不會(huì)開始為任何新的 Python 版本構(gòu)建 wheels。
你可以在這個(gè)項(xiàng)目的博客上讀到更多關(guān)于 piwheels 的信息,我將在 2020 年初在那里發(fā)表一篇 2019 年的綜述。你也可以在推特上關(guān)注 @piwheels,在那里你可以看到每日和每月的統(tǒng)計(jì)數(shù)據(jù)以及任何達(dá)到的里程碑。
當(dāng)然,piwheels 是一個(gè)開源項(xiàng)目,你可以在 GitHub 上看到整個(gè)項(xiàng)目源代碼。































