摘要：本文介紹了HTTPDNS服務從中心遷移至邊緣詳細的落地過程。主要內容為：

1. HTTPDNS下沉邊緣實踐遇到的挑戰，包括服務放置、流量調度
2. HTTPDNS下沉邊緣解決方案
3. 從性能、成本出發，談談HTTPDNS下沉邊緣后的收益

傳統的DNS流程中，客戶端基于UDP協議向Local DNS服務器發送DNS查詢請求，這個過程中會存在緩存刷新不可控、DNS劫持、解析結果跨網、解析超時等風險，近年來，HTTPDNS解決方案逐漸興起。HTTPDNS是面向多端應用（移動端APP，PC客戶端應用）的域名解析服務，通過使用HTTP或HTTPS協議替代傳統的UDP協議，客戶端的域名解析請求直接由HTTPDNS服務器接收和響應，實現了域名防劫持、精準調度、解析結果及時生效。

以字節跳動內部業務為例，如抖音、今日頭條、西瓜視頻和番茄小說等，QPS峰值達千萬級，解析請求量日達萬億次，日常流量極大，為保障業務穩定運行，應用了火山引擎移動解析HTTPDNS（以下簡稱HTTPDNS）為域名提供遞歸DNS服務，支撐起超大解析請求量。

由于HTTPDNS服務全面覆蓋字節跳動頭部APP，在節約成本以及性能優化上存在強烈訴求，在此背景下HTTPDNS團隊經過調研，決定將HTTPDNS服務從中心遷移至邊緣，以下將從實踐難點、解決方案和收益多個維度分享詳細落地過程。

一、HTTPDNS下沉邊緣實踐挑戰

1.服務放置

由于邊緣計算節點分散、基礎設施異構等原因，邊緣服務放置一度成為下沉邊緣過程中的研究熱點，現有方案在處理邊緣放置問題時，會將其轉化為指定場景下資源約束的目標優化問題，針對成本、質量、流量方向，行業內均有對應研究：

• 針對成本，有研究通過多云的模式進行最小冗余成本建模，來實現資源動態分配。
• 針對質量，有研究通過構建服務依賴模型、最佳冗余動態算法保障可靠性，以及成本和質量均衡模型，來實現質量保障。
• 針對流量，有研究從流量遷移、設備移動、時空軌跡以及資源預部署等，實現流量穩定遷移。

在實際應用過程中，流量及設備遷移特征顯著、邊緣節點性能差異、穩定性波動大等因素，會干擾現有放置問題模型，因此需要進一步探索基于流量特征和邊緣節點資源質量的放置問題。

2.流量調度

邊緣計算的流量調度場景主要分為端邊調度和云邊調度，部分場景會出現邊邊調度。不同調度階段擁有相對成熟的調度技術，包括基于DNS的端邊調度、基于BGP ANYCAST的骨干網路由調度以及云網絡下的云原生流量調度。

實踐過程中面臨的流量調度挑戰，主要圍繞著端邊調度和云邊調度：

• 端邊調度挑戰：5G和工業互聯網接入的大量異構設備，以及設備遷移導致的流量波動，是端邊調度需要應對的主要挑戰。解決這一問題可借助云邊協同作業與全局分布式調度的策略。然而，實際操作遇到的難題主要在于缺乏精確的調度手段，并且未能充分利用客戶端與邊緣節點之間協同聯動的潛力。盡管通過實時流量感知配合機器學習進行訓練是一種可行的方法，但這種方案處理的數據量巨大，導致應用成本過高，難以滿足現實需求。
• 云邊調度挑戰：邊緣計算由于其固有特性，在處理大規模集中式數據方面相較于傳統中心化架構存在一定局限性。因此，云邊協同的流量處理和計算模式采納了業界廣泛認可的計算架構，云邊調度發揮了云計算與邊緣計算各自的優勢，達成數據和流量的更高效處理。然而，邊緣計算在資源分配上仍面臨局部不足與全局分散的挑戰。舉例來說，在約束優化路由模型中，評價指標有時與實際業務場景不符，未能充分考慮用戶體驗。此外，行業內某些區域分層調度模型在實際應用中遇到了邊緣基礎設施不統一的問題，同時區域內及區域間的容災問題也尤為突出。

二、HTTPDNS下沉邊緣解決方案

1.可視化評價模型指導服務放置

針對基于流量特征和邊緣節點資源質量的放置問題，在實踐過程方案，HTTPDNS團隊不斷進行嘗試優化，最終選擇通過使用全鏈路的撥測和數據采集方法，基于實時數據驅動的模式，進行在線的放置算法仿真訓練，形成可視化的評價模型，以指導HTTPDNS服務在邊緣機房的節點選擇和服務放置。基本流程如下圖：

2.接入GTM打造調度解決方案

針對流量調度挑戰，由于內部服務采用域名（配合兜底策略）的接入方式，接入域名配置DNS智能解析實現用戶就近訪問邊緣接入節點。考慮到邊緣接入節點IP的網絡服務可靠性和質量對比IDC機房優勢不明顯，因此HTTPDNS團隊最終決定引入云調度GTM解決調度問題。

火山引擎云調度GTM基于解析進行流量調度，可以實現流量的就近接入（地理位置/性能）、負載均衡。GTM借助分布式、多協議健康檢查能力來實現故障容災（Failover），諸如“同城容災”、“異地多活”等場景。此外GTM還提供了多云環境下的流量編排、資源粘合能力，可視化的健康檢查數據分析、操作日志等功能幫助排查定位問題，便于日常運維。

重點應用：

• 智能調度：通過云調度GTM的「智能調度-容量優先」模式實現基于機房容量的智能調度，在滿足機房容量的前提下生成全局時延最低的DNS調度規則，從而能夠在邊緣節點割接/故障時實現自動容災；
• 故障容災：支持邊緣節點通過控制臺、API接口和Agent的方式上報節點容量等信息，基于節點的數據上報情況和健康檢查探測的情況，云調度GTM作為策略中心更新和下發調度策略，實現邊緣節點的故障容災。

調度解決方案優勢：

• 建設成本低：部署輕量，架構侵入較小，建設成本較低；整體配置和管理簡單；
• 動態調度保障性能最優：在邊緣多節點、多機房的場景下，能夠基于性能和容量進行動態調度，在確保機房水位低于目標水位的前提下實現全局性能最優；
• 支持可視化：支持調度配置和結果的可視化展示、健康檢查可視化查詢。

應用火山引擎云調度GTM來實現容量調度是一次新的嘗試，在全面接入云調度GTM之后，對比傳統域名智能解析調度模式，邊緣節點容量調度模式能從性能、容災、成本等方面帶來收益，也驗證了云調度GTM在方案中不可或缺的重要性。

調度解決方案收益：

三、更強大的解析調度，性能提升20%+

實踐過程持續了六個月時間，在成本優化與性能提升方面均取得顯著效果。

1.成本優化

總成本優化約35%，其中負載均衡資源優化約50%，計算資源優化約30%，帶寬成本優化約70%，且最終實現了邊緣集群總容量千萬 QPS 級別，與中心機房完全互備。

2.性能提升

完成從中心到邊緣的遷移后，火山引擎移動解析HTTPDNS服務性能出現顯著提升，對比同類服務出現顯著優勢。

在邊緣服務建設完成后，我們逐步將原中心機房承載的千萬 QPS 級別流量遷移到邊緣服務集群上。根據實際的性能提升情況， 先后將全國大部分區域的三大運營商接入流量遷移到邊緣。在這個過程中，我們關注并采集流量的網絡指標變化數據，各個區域均有性能收益，詳見下表：

為了能夠更直觀感受火山引擎移動解析HTTPDNS服務與其他HTTPDNS服務的性能數據對比，我們使用國內主流的第三方撥測平臺，進行了近千個撥測節點、覆蓋全國的撥測對比。從撥測結果可以看出，不論是從地理位置上，還是分運營商討論，火山引擎移動解析HTTPDNS都在首屏時間、建立連接時間、首包時間和內容下載時間上表現優異，最終實現總下載時間實現領先。

全國：

分運營商:

總結

整體下沉實踐方案中，HTTPDNS團隊不斷進行新嘗試，探索并應用了基于GTM的反饋式調度模型，更好地應對了邊緣計算資源局部緊張、全局分散以及穩定性抖動頻繁的挑戰，從而弱化邊緣放置問題帶來的資源開銷，并提升流量調度效率、資源利用率以及降低容災和運維難度。

通過下沉邊緣，HTTPDNS進一步優化使用成本，提升服務性能，而此次實踐通過將HTTPDNS服務從中心云架構遷移至邊緣云架構模式，使邊緣計算在互聯網傳統業務場景中得到應用，也是邊緣云云原生的一次工程探索實踐。

本項目應用了火山引擎邊緣計算多個產品服務，不僅使用了邊緣網絡提供的四、七層負載均衡產品，還將HTTPDNS服務全部運行在邊緣容器上，通過彈性公網IP完成邊緣服務的回源以及控制。HTTPDNS聯動邊緣計算打造的下沉邊緣實踐案例，作為行業實踐，希望為同行業提供一些有益參考。

未來，HTTPDNS團隊將持續探索邊緣計算容器化彈性調度技術的應用，應對億級接入、千萬QPS流量所帶來的流量遷移、接入抖動問題，并進一步提升設備利用率并節約成本。