2 月 28 日，Cloudflare 開源了其自研的 Nignx 替代品：Pingora。這是一個(gè)基于 Rust 打造的高速、可靠與可編程的網(wǎng)絡(luò)系統(tǒng)。目前，Cloudflare 已使用 Pingora 全面替代  Nginx 。經(jīng)過實(shí)戰(zhàn)檢驗(yàn)，Pingora 每秒穩(wěn)定處理超過 4000 萬的網(wǎng)絡(luò)請(qǐng)求，持續(xù)服務(wù)數(shù)年。下面就來看一看 Pingora 有什么特別之處！

Cloudflare 是一個(gè)全球性的網(wǎng)絡(luò)性能和安全公司，它提供了一系列服務(wù)來幫助網(wǎng)站和應(yīng)用程序改善其在線體驗(yàn)、增加安全性并加速加載速度。Cloudflare 的主要服務(wù)包括：

• 內(nèi)容分發(fā)網(wǎng)絡(luò) (CDN)：通過在全球各地分布的數(shù)據(jù)中心緩存和分發(fā)您的網(wǎng)站內(nèi)容，幫助加速網(wǎng)站和應(yīng)用程序的加載速度。
• DNS 服務(wù)：提供可靠的 DNS 解析服務(wù)，確保用戶能夠快速地訪問您的網(wǎng)站或應(yīng)用程序。
• 防火墻和安全性：保護(hù)您的網(wǎng)站免受 DDoS 攻擊和其他網(wǎng)絡(luò)威脅的影響，通過提供強(qiáng)大的防火墻和安全措施。
• 負(fù)載均衡：智能地將用戶流量分發(fā)到多個(gè)服務(wù)器，確保您的網(wǎng)站或應(yīng)用程序在高流量下仍然保持快速和可靠。

2023 年 1 月，據(jù) Netcraft 對(duì)上百萬個(gè)站點(diǎn)的調(diào)查數(shù)據(jù)顯示，在 Cloudflare 從第 3 位躍升至第 1 位，即在一個(gè)月內(nèi)超過了 Apache 和  Nginx ，成為了最受歡迎 Web 服務(wù)器。

Pingora 是什么？

Pingora 作為一款功能強(qiáng)大的代理工具，不僅提供了構(gòu)建HTTP/1、HTTP/2、TLS或TCP/UDP服務(wù)的庫(kù)和API，還支持HTTP/1和HTTP/2的端到端代理、gRPC和Websocket代理。盡管HTTP/3的支持尚在規(guī)劃中，但Pingora已經(jīng)展現(xiàn)出其前瞻性和可擴(kuò)展性。為了滿足不同用戶的需求，Pingora配備了高度可定制的負(fù)載均衡和故障轉(zhuǎn)移策略。在安全方面，Pingora支持廣泛使用的OpenSSL和BoringSSL庫(kù)，確保服務(wù)符合FIPS標(biāo)準(zhǔn)，并采用了后量子加密技術(shù)，為用戶提供堅(jiān)實(shí)的安全保障。

Pingora的另一個(gè)亮點(diǎn)是其靈活的過濾器和回調(diào)函數(shù)機(jī)制。這使得用戶能夠根據(jù)自己的需求，完全自定義服務(wù)的請(qǐng)求處理、轉(zhuǎn)換和轉(zhuǎn)發(fā)過程。這一特性對(duì)于熟悉 OpenResty 和 Nginx 的用戶來說將尤為親切，因?yàn)镻ingora的API設(shè)計(jì)直觀且易于與OpenResty的 "*_by_lua" 回調(diào)函數(shù)對(duì)接。

在操作層面，Pingora提供了零停機(jī)時(shí)間的優(yōu)雅重啟功能，確保在升級(jí)過程中不會(huì)丟失任何傳入請(qǐng)求。此外，Pingora還易于與Syslog、Prometheus、Sentry、OpenTelemetry等關(guān)鍵可觀察性工具集成，幫助用戶實(shí)時(shí)監(jiān)控和優(yōu)化服務(wù)的性能。

那什么情況下應(yīng)該使用 Pingora 呢？

• 安全至上：Pingora 是 C/C++ 服務(wù)的安全內(nèi)存替代方案。通過 Pingora，您可以減少編碼錯(cuò)誤，降低內(nèi)存安全問題的風(fēng)險(xiǎn)。這意味著將能夠更專注于新功能的開發(fā)，而不必?fù)?dān)心潛在的安全隱患。
• 性能敏感：Pingora 以其快速和高效的性能而著稱。得益于其多線程架構(gòu)，Pingora 顯著減少了 CPU 和內(nèi)存資源的消耗。對(duì)于需要優(yōu)化成本和速度的系統(tǒng)，Pingora 無疑是理想的選擇。
• 高度定制需求：Pingora 提供的 API 高度可編程，適用于構(gòu)建定制和高級(jí)的網(wǎng)關(guān)或負(fù)載均衡器。無論需求有多么復(fù)雜，Pingora 都能提供強(qiáng)大而簡(jiǎn)單的實(shí)現(xiàn)方式。

有了 Nginx 為什么還需要 Pingora？

Pingora 是 Cloudflare 使用 Rust 構(gòu)建的新 HTTP 代理，不僅提升了性能，還為Cloudflare客戶帶來了眾多新功能。令人矚目的是，它在實(shí)現(xiàn)這些的同時(shí)，僅需以往代理基礎(chǔ)架構(gòu)三分之一的CPU和內(nèi)存資源。

隨著Cloudflare業(yè)務(wù)規(guī)模的飛速擴(kuò)張，其需求已經(jīng)超越了 Nginx 的處理能力。盡管 Nginx 多年來表現(xiàn)出色，但隨著時(shí)間推移，其規(guī)模上的局限性逐漸凸顯。包括：

• Nginx  架構(gòu)影響性能：Nginx 的 worker（進(jìn)程）架構(gòu)導(dǎo)致每個(gè)請(qǐng)求只能由單個(gè)worker處理，造成了CPU內(nèi)核之間的負(fù)載不平衡，從而降低了整體性能。此外，這種架構(gòu)還可能導(dǎo)致執(zhí)行CPU密集型或阻塞I/O任務(wù)的請(qǐng)求減緩其他請(qǐng)求的速度。另外，cloudflare 的用例依賴于高效的連接重用，以減少TCP和TLS握手的時(shí)間，加快請(qǐng)求的TTFB。然而，  Nginx  的連接池與單個(gè)worker相對(duì)應(yīng)，限制了連接的重用率。當(dāng)增加更多的worker以進(jìn)行擴(kuò)展時(shí)，連接會(huì)分散在更多的孤立池中，導(dǎo)致連接重用率下降，TTFB增加，并增加了資源消耗。
• 有些類型的功能難以添加： Nginx 作為 Web 服務(wù)器、負(fù)載均衡器或簡(jiǎn)單的網(wǎng)關(guān)表現(xiàn)出色，但對(duì)于更高級(jí)、定制化的功能需求，它存在一些局限性。在嘗試圍繞  Nginx  構(gòu)建所需功能時(shí)，面臨著與上游代碼庫(kù)保持一致的挑戰(zhàn)，這并不容易實(shí)現(xiàn)。除此之外， Nginx 社區(qū)的活躍度有限，開發(fā)工作往往缺乏開源社區(qū)的支持和協(xié)作。這限制了我們從社區(qū)獲取幫助和解決方案的能力。

為了追求更高的性能，并滿足復(fù)雜環(huán)境中日益增長(zhǎng)的功能需求，Cloudflare決定構(gòu)建全新的解決方案——Pingora。

性能提升

經(jīng)過對(duì) Pingora 的實(shí)際應(yīng)用與性能數(shù)據(jù)的收集，觀察到了顯著的性能提升。Pingora在處理HTTP請(qǐng)求時(shí)，特別是針對(duì)緩存未命中的情況，表現(xiàn)出了出色的性能。Pingora架構(gòu)的創(chuàng)新之處在于其跨線程共享連接的能力，這顯著提高了連接的重用率，并大幅減少了在 TCP 和 TLS 握手上所花費(fèi)的時(shí)間。

根據(jù)數(shù)據(jù)，Pingora 將 TTFB（首字節(jié)時(shí)間）的中位數(shù)減少了 5 毫秒，而第 95 個(gè)百分位數(shù)更是減少了80毫秒。這并非因?yàn)榇a運(yùn)行速度更快，而是因?yàn)樾录軜?gòu)更有效地管理了連接，從而減少了握手時(shí)間。

此外，與舊服務(wù)相比，Pingora每秒的新連接數(shù)減少了三分之二。對(duì)于一個(gè)關(guān)鍵客戶，連接重用率從87.1%大幅提升至99.92%，這意味著新連接的數(shù)量減少了160倍。換算成實(shí)際的時(shí)間節(jié)省，通過切換到Pingora，每天為客戶和用戶節(jié)省了相當(dāng)于434年的握手時(shí)間。

更安全

在大規(guī)模分布式環(huán)境中，快速且安全地發(fā)布新功能是一項(xiàng)艱巨的任務(wù)，尤其是在每秒處理數(shù)百萬個(gè)請(qǐng)求的情況下。在這樣的環(huán)境下，傳統(tǒng)的模糊測(cè)試和靜態(tài)分析只能提供有限的保障。

為了增強(qiáng)系統(tǒng)的穩(wěn)定性和可靠性，Pingora 選擇了使用 Rust 語(yǔ)言，其內(nèi)存安全語(yǔ)義確保了代碼免受未定義行為的影響，從而增強(qiáng)了對(duì)服務(wù)正確運(yùn)行的信心。這種保障能夠?qū)⒏嗑性诜?wù)更改與其他服務(wù)或客戶來源的交互上，而不是擔(dān)憂內(nèi)存安全或難以診斷的崩潰問題。

自 Pingora 使用以來，已經(jīng)處理了數(shù)百萬億個(gè)請(qǐng)求，而且至今尚未因?yàn)榉?wù)代碼而導(dǎo)致崩潰。這證明了Rust在內(nèi)存安全方面的優(yōu)勢(shì)以及 Cloudflare 團(tuán)隊(duì)在開發(fā)和維護(hù)中的努力。

更高效

在生產(chǎn)環(huán)境中，與舊服務(wù)相比，Pingora在相同的流量負(fù)載下實(shí)現(xiàn)了顯著的資源消耗降低。具體來說，CPU消耗減少了約70%，而內(nèi)存消耗減少了約67%。這一顯著的節(jié)省主要源于幾個(gè)關(guān)鍵因素。

首先，Pingora使用Rust編寫的代碼相較于之前使用Lua的代碼，在運(yùn)行效率上有顯著的提升。Rust作為一種編譯型語(yǔ)言，其性能通常優(yōu)于解釋型語(yǔ)言如Lua。

其次，Pingora的架構(gòu)設(shè)計(jì)使得數(shù)據(jù)訪問更加高效。在舊的 NGINX/OpenResty 架構(gòu)中，Lua代碼訪問HTTP頭時(shí)涉及多個(gè)步驟，包括從 Nginx C結(jié)構(gòu)中讀取、分配Lua字符串、復(fù)制到Lua字符串中，以及后續(xù)的垃圾回收。而在Pingora中，這種訪問變得直接而高效，減少了不必要的中間步驟。

此外，Pingora采用的多線程模型使得跨請(qǐng)求共享數(shù)據(jù)更加高效。雖然NGINX也提供共享內(nèi)存，但由于實(shí)施限制，每次訪問都需要使用互斥鎖，并且只能存儲(chǔ)字符串和數(shù)字。相比之下，Pingora允許通過原子引用計(jì)數(shù)器直接訪問大多數(shù)共享項(xiàng)目，從而提高了數(shù)據(jù)共享的效率。

最后，Pingora顯著減少了新連接的數(shù)量，這也是CPU節(jié)省的一個(gè)重要方面。與通過已建立的連接發(fā)送和接收數(shù)據(jù)相比，TLS握手過程更加耗時(shí)和資源密集。通過提高連接重用率，Pingora能夠減少新連接的需求，從而進(jìn)一步降低資源消耗。

相關(guān)鏈接

Github：https://github.com/cloudflare/pingora。