1.走進邊緣云:  邊緣計算背后的性能需求

1.1火山引擎邊緣計算節點

隨著人工智能、自動駕駛、云游戲、直播音視頻等應用場景的大規模落地，這些應用對數據處理的時效性、安全性提出了更高要求，集中式云計算模式難以完全滿足其在網絡時延、帶寬成本、數據安全等方面的需求，伴隨用戶對云計算服務能力的多元化需求，邊緣計算應運而生。邊緣計算基于靠近應用和數據源頭的網絡邊緣位置，就近提供計算、網絡、存儲、安全、智能等服務，據IDC報告顯示，到2024年底，全球在邊緣計算上的支出預計將達到2320億美元。同時，Gartner報告顯示，到2025年底，全球75%的企業生成數據將會在邊緣產生和處理。

邊緣計算節點是火山引擎邊緣云提供的通用化邊緣計算服務，其基于覆蓋中國各省份和運營商的邊緣節點，在核心底座邊緣云原生操作系統之上，提供彈性、可靠、分布式的算力資源和低時延的網絡資源，幫助用戶將業務快速部署到網絡邊緣，提升響應速度、降低帶寬成本，為用戶提供穩定、高效、豐富的一站式算力服務。結合基礎設施、通用化計算服務、場景化計算服務、網絡服務和對應解決方案，共同構成了邊緣場景下的完整分布式云計算解決方案。

邊緣計算節點提供如下兩種計算形態：

• 邊緣虛擬機:  提供彈性、穩定、高性能、安全的虛擬機實例服務，支持x86/ARM/GPU等多樣化計算資源
• 邊緣裸金屬：基于邊緣基礎設施，提供高性能、快速交付、便捷運維的裸金屬服務器

本文主要圍繞邊緣虛擬機實例性能優化，深入探討邊緣高性能虛擬機的需求背景、實現原理及背后的核心價值。

1.2邊緣場景的性能需求

邊緣計算節點目標為客戶提供高性價比邊緣算力，部分客戶場景對單位成本下的業務性能及性能穩定性敏感，以下是兩個案例。

1.2.1直播客戶案例

隨著移動端直播和直播電商的興起，直播行業已經成為數字經濟的重要組成部分。從技術維度看，直播業務對即時性和互動性要求較高，通過利用邊緣低延時算力和網絡、低成本帶寬，可以顯著提升直播業務品質，降低運營成本。其與邊緣結合的概要架構如下圖所示，主播推流到邊緣節點、觀眾從其就近的邊緣節點拉流。在實際直播客戶接入過程中，單位算力所能處理的流量帶寬直接關聯該類客戶業務成本， 部分上云客戶也對虛擬機和裸金屬性能和成本差異敏感，因此如何能夠讓客戶既使用到虛擬機實例的豐富特性，又提供較好的業務性能就是一個重要的議題。

1.2.2加速客戶案例

基于覆蓋全球的加速節點和網絡基礎設施，實現游戲/應用加速是邊緣計算的另一個重要場景，該類客戶對延時和網絡抖動敏感，下圖是一個使用邊緣云全球加速和邊緣虛擬機產品實現跨域加速的案例。用戶就近接入全球加速網絡，通過分布在邊緣機房的虛擬機實例部署業務服務，并最終通過公網和跨域專線與目標服務通信。該部分客戶對網絡抖動有較低容忍度，經過深入分析，中斷/進程搶占、大量VM Exit 均會造成客戶業務抖動，如何能夠盡量降低虛擬化層對業務的干擾就成了保障加速類客服服務質量的關鍵。

2.極致優化：高性能虛擬機如何實現“零”損耗

上述業務需求驅動我們思考如何能夠降低虛擬化層對性能的擾動，提高業務場景的虛擬機單位性能。邊緣高性能虛擬機項目于是誕生，其詳細介紹如下：

2.1整體架構

邊緣計算通過虛擬化技術向用戶提供云計算基礎服務，底層基座依托于Qemu+KVM來實現虛擬化（資源，安全等）隔離。Qemu+KVM的虛擬化方案雖然會盡可能的利用硬件能力來降低虛擬化開銷，但是像CPU核間中斷（IPI），Timer中斷，虛擬設備中斷等仍存在大量虛擬化開銷，同時虛擬化硬件加速能力（如Posted Interrupt等）設計的復雜性也會帶來額外硬件開銷。我們通過修改Host Kernel，KVM模塊等方式，為云計算提供了一種新的硬件完全直通，性能損耗極低的高性能虛機方案。

該方案的設計理念是打破虛擬化的“邊界”，讓Guest Kernel像Host Kernel一樣運行在物理機上。為了讓CPU/Memory/設備等硬件的資源需要直接assign給Guest，每個高性能虛擬機的vCPU需要獨占一個物理CPU，內存，中斷等資源。

邊緣高性能虛擬機的設計目標：

1. VM Exit數量降至最低，對標裸金屬
2. Guest鏡像無感，無須修改Guest鏡像
3. 支持熱升級，熱遷移等云上基礎能力
4. 支持和通用VM實例混部的能力

其整體架構設計如下：

2.2關鍵技術

Intel 的 VT-x 技術是在 2005 年首次發布的。VT-x 技術是 Intel 虛擬化技術的一部分，旨在提高虛擬化性能并增強虛擬化軟件的功能。Intel VT-x 引入了 Root 模式和 Non-Root 模式：Root 模式是虛擬機監視器（VMM）運行的特權模式，也稱為 Hypervisor 模式；Non-Root 模式是客戶操作系統或虛擬機運行的模式。借助VMLAUNCH/VMRESUME指令，VMM將控制權轉移給虛擬機，當虛擬機在運行過程中需要執行特權指令或訪問受保護資源時，會產生VM Exit將控制權轉移給VMM，由VMM協助模擬處理。

• Guest中斷不退出機制

中斷虛擬化對虛擬化的影響是非常大的，早期虛擬化的實現中，向Guest注入中斷前一般要先將vCPU從Non-Root模式kick出來，然后由VMM模擬中斷控制器，完成中斷的注入。盡管后來CPU廠商為虛擬化引入了apicv等硬件加速技術，減少了Guest訪問LAPIC寄存器引入的虛擬化損耗，但仍需要VMM協助完成中斷的注入。再后來，Posted-Interrupt技術以及VT-d技術進一步緩解了這個問題，但是在解決中斷注入問題的同時，硬件層面也引入了不小的性能開銷，我們測試對比發現，相比裸金屬物理設備直接產生中斷，通過Posted-Interrupt方式注入中斷的延遲要高出很多。

在高性能虛擬機的設計框架下，除了虛擬設備這些必須要要模擬注入的中斷，直通設備，LAPIC Timer等設備產生的中斷能直接投遞給Guest，就像他們在物理環境中直接投遞給物理CPU一樣。通過配置VMCS中的INTR_EXITING字段，可以控制外部中斷發生時Guest不退出，以此為基礎，我們實現了一個外部中斷不會導致Guest退出的基礎框架，后續所有的中斷都將盡可能的直接投遞給Guest，而不是產生external interrupt VM Exit后再由VMM模擬注入。

但是，真實世界中，物理CPU上產生的中斷并不是全部都是屬于Guest的，比如host kernel IPI中斷，host設備中斷如NVMe SSD等。對于設備中斷，可以通過修改host kernel實現設備中斷隔離技術，將所有的設備的中斷affinity調整隔離到指定的控制面CPU上；對于系統中斷如IPI，這類中斷必須由本地CPU處理，可以通過send IPI as NMI技術，將IPI中斷類型修改為NMI type，從而強行將vCPU kick出來后在Host kernel處理這些系統中斷。至此，我們為運行高性能虛擬機的物理CPU隔離出一個“干凈的”vCPU運行環境。在這個環境下，“幾乎”所有的Host中斷都不會投遞到該CPU上，一旦收到中斷，一定是Guest中斷，中斷會直接投遞到Guest或者通過VMM記錄pending Guest interrupt并在下次Guest enter時注入。

• Timer中斷直通技術

虛擬化場景下，Guest Timer是由VMM負責模擬的。以x86 CPU虛擬化為例，KVM為每個vCPU模擬一個LAPIC Timer，LAPIC Timer虛擬化的開銷當前是很大的，以常見的Intel TSC Deadline Mode為例，Guest編程TSC Deadline MSR時會產生一次VM Exit，Timer到期fire時又會因為external interrupt產生一次VM Exit。Intel在最新一代CPU上引入了apic Timer硬件加速來降低這些開銷，但一是這些新的CPU還沒有大規模商業化，真正的性能收益未知，二是與posted-Interrupt類似，這類硬件加速技術一般會引入一定的硬件性能損耗。

在高性能虛擬機技術方案中，由于host控制面CPU要處理的工作不繁重，我們強制host CPU使用早期的Broadcast Timer，然后將每個CPU的LAPIC Timer完全直通給Guest使用。對于直通給Guest的LAPIC Timer，通過配置Guest修改TSC Deadline MSR不退出，再借助前面介紹的Guest中斷直接投遞機制，實現Guest LAPIC Timer沒有任何VM Exit。

• 繞過Posted-Interrupt機制的VFIO中斷直通技術

在傳統的虛擬化場景中，對于直通設備的中斷注入是基于Posted-interrupt機制（Intel）來完成的，Posted-Interrupt機制會帶來額外的硬件開銷。借助VFIO框架，直通設備產生中斷時，首先被IOMMU攔截，然后通過查找IOMMU中的IRTE表項，找到要投遞給Guest的目的vCPU和中斷vector，最終通過IOMMU的Interrupt remapping或者Posted-Interrupt機制完成中斷的注入。

高性能虛擬機通過巧妙地修改硬件IOMMU IRTE表項，使其直接記錄要投遞給Guest的destination vCPU和vector，從而實現了直通設備的中斷直接投遞到Guest內部的效果。

• IPI extreme fastpath

虛擬化場景下，Guest內部發送IPI會寫LAPIC ICR寄存器，該操作會產生VM Exit，最終由VMM負責模擬，并注入IPI中斷給目的vCPU。

出于安全性考慮，高性能虛擬機沒有將ICR直通給虛機，因此Guest IPI仍需要VMM協助模擬。在社區IPI fastpath的基礎上進一步優化，使用匯編重寫簡化了VMM模擬IPI的邏輯，并在VMM側寫ICR產生IPI中斷直接投遞到Guest，最大限度的降低write ICR exiting模擬帶來的性能開銷。

• 內核資源動態隔離技術

為了讓高性能虛擬機最大限度的獨占物理核，我們構建了一套完整的的內核資源隔離技術，達到將timer中斷，外部設備中斷，host進程等干擾要素隔離的效果。

• 對于host timer中斷，內核提供了NOHZ_full 技術，NOHZ_full 通過減少定時器中斷的頻率來優化系統性能。但是該技術是靜態配置技術，需要在內核cmdline中提前配置。高性能虛擬機方案借助NOHZ_full基礎框架，實現了dynamic nohz_full技術，能夠實現vCPU enter Guest時，動態的進入nohz_full狀態，并在vCPU exit Guest時，動態退出nohz_full狀態，最大程度減少host Timer中斷對Guest運行時的影響；
• 類比內核已有的isolCPUs中斷隔離技術，對于分配給高性能虛擬機的host CPU核，創建虛機前，將所有的host中斷遷移到控制面CPU上，并確保新創建的中斷也不會遷移到這些CPU上；
• 類比內核已有的isolCPUs進程隔離技術，對于分配給高性能虛擬機的host CPU核，創建虛機前，將所有host進程遷移到控制面CPU上，并確保創建虛機后，vCPU線程不會被隨便遷移走。

2.3場景測試

• Micro Benchmark（單位ns，less is better），在Guest內執行IPI Benchmark等測試工具，測量IPI單播延遲，IPI 多播延遲，單次Timer中斷延遲，單次核心MSR寄存器訪問延遲，可發現核心中斷延遲和 MSR 寫入延時大幅降低。

• VM Exit數量統計

通用實例和高性能實例均配置了idle=poll，通過在Guest內redis-benchmark等本地壓測工具，在Host側統計壓測過程中的VM Exit數量，可以看到，在這兩個測試 Case 下高性能實例減少了超過 99% 的 VM Exit。

通用實例 VM Exit主要集中在三類：

• MSR_WRITE
• External interrupt
• Preemption_Timer
• 云服務器基準場景性能測試對比，性能提升從 6% ～16% 不等。測試工具使用社區成熟的壓測工具如wrk、ab、redis-benchmark、netperf等進行壓測，網絡拓撲為一臺虛擬機與一臺物理機互相壓測。

3.業務賦能: 邊緣場景應用性能大幅提升

邊緣高性能虛擬機當前已在線上逐步應用，在多個邊緣應用場景均有明顯收益，以下就實際業務場景舉例說明。

3.1CDN場景

內容分發網絡（Content Delivery Network）是一種通過部署在全球各地的服務器網絡，將內容（如文本、圖像、視頻等）快速傳輸到用戶的網絡的技術系統。CDN 可以減輕源服務器壓力、提高網站性能、加速內容傳輸速度和改善用戶體驗，當前已成為現代網絡架構中的重要基礎服務。通過應用邊緣高性能實例，某CDN客戶在同等壓力下的 CPU 使用率較通用實例降低 13.9~23.2%，較裸金屬差異  0.2% ～ 2.9%，支撐該客戶成功上云。

3.2音視頻直播場景

實時音視頻（Real - Time Communication）是一種允許用戶在網絡上進行實時的音頻和視頻通信的技術。它能夠實現低延遲的音視頻傳輸，廣泛應用于視頻會議、在線教育、直播互動、遠程醫療等眾多領域。邊緣高性能實例為實時音視頻業務提供了高效的轉發能力，相較于通用實例業務性能提升24.2%，相較于裸金屬實例性能基本持平。

直播場景如文章開篇所述，對于邊緣計算節點有性能訴求，通過應用邊緣高性能實例，為客戶降低23.7%以上的CPU 占用，性能和裸金屬持平。

3.3加速場景

針對前述加速場景的性能穩定性訴求，通過使用邊緣高性能實例，降低VM Exit帶來的性能抖動，能為業務帶來和裸金屬一樣的延時穩定性。

4.總結與展望

目前邊緣高性能虛擬機已在邊緣計算節點上線應用，基于其低虛擬化損耗設計與實現，大幅降低VM Exit，提供接近裸金屬的業務性能，在多個邊緣場景均有較好業務收益。未來高性能虛擬機將進一步擴展業務接入范圍，覆蓋 GPU 等異構算力場景，持續為邊緣應用提供高性價比、穩定算力支撐。歡迎感興趣的用戶通過如下渠道溝通交流，接入邊緣計算節點、體驗低延時算力。