FASTFLOW: Flexible Adaptive Congestion Control for High-Performance Datacenters   

FASTFLOW：針對高性能數據中心的靈活自適應擁塞控制

??https://arxiv.org/abs/2404.01630??

發表時間：2024年9月20日         

一、問題背景

現代數據中心，特別是運行大規模AI訓練和HPC應用的數據中心，對網絡性能的要求越來越高。這些工作負載通常會產生突發性的、同步的流量，對傳統的擁塞控制算法提出了挑戰。現有擁塞控制算法的不足：

• 基于延遲的算法：如Swift和BBR，反應速度較慢，在處理短促的流量突發時無法及時調整發送速率，導致不公平的帶寬分配和較高的流完成時間（FCT）。
• 接收端算法：如EQDS，能有效管理最后一跳的擁塞（例如incast），但在處理網絡結構內部的擁塞（例如由ECMP沖突引起的擁塞）時表現不佳，可能導致帶寬利用率不足。

二、FASTFLOW算法

FASTFLOW是一種基于發送端的擁塞控制算法，旨在解決上述問題，實現高性能和公平性。關鍵特性：   

• 擁塞信號：FASTFLOW結合使用延遲（RTT）和顯式擁塞通知（ECN）作為擁塞信號。延遲信號能更精確地反映擁塞程度；ECN信號能更快地通知擁塞。
• 擁塞窗口調整：FASTFLOW根據接收到的ACK包含的擁塞信息，采用不同的策略調整擁塞窗口的大小。當ECN和延遲信號對擁塞的存在意見不一致時，擁塞窗口會更加保守地增加或減少（公平減少/增加）；當ECN和延遲信號都指示擁塞或都不指示擁塞時，擁塞窗口會更積極地調整（乘法減少/增加）。
• QuickAdapt：一種新穎的機制，能在檢測到嚴重擁塞時快速調整擁塞窗口。QuickAdapt默認依賴于數據包修剪功能，如果交換機不支持修剪，則回退到基于超時的機制。
• 快速增加：一種用于在某些流結束后快速恢復可用帶寬的機制。

三、性能評估

使用htsim網絡模擬器對FASTFLOW進行了評估，涵蓋不同的網絡拓撲（包括具有不同超額認購率的胖樹網絡）和流量模式（包括incast、permutation和alltoall）。結果表明，在大多數情況下，FASTFLOW的性能優于或與EQDS、Swift、BBR和MPRDMA等現有算法相當，在某些情況下甚至能實現高達50%的性能提升。即使在不支持數據包修剪的情況下，FASTFLOW的性能下降也很小，通常不超過兩個基本RTT。優勢/特點：

• 高性能：FASTFLOW結合多種技術，快速響應網絡擁塞，最大限度地提高吞吐量和降低延遲。
• 公平性：通過公平減少/增加機制和WTD機制，更公平地分配帶寬，避免對瞬時負載不平衡過度反應。
• 易于部署：只依賴ECN和RTT測量，這些功能在大多數數據中心交換機上都可用，無需特殊硬件支持。
• 低內存占用：內存占用很小，每個流只需存儲19字節，便于在網卡上實現。

四、未來發展

• 與接收端算法結合：探討將FASTFLOW與EQDS等接收端算法結合使用的可能性，充分利用兩種類型算法的優勢，進一步提高網絡性能。
• 針對特定工作負載優化：針對特定的機器學習或HPC工作負載對FASTFLOW進行優化，例如針對不同的集體通信模式調整算法參數。
• 實際部署和評估：在實際數據中心環境中部署和評估FASTFLOW，驗證其在真實場景下的性能和可擴展性。

關于FASTFLOW的常見問題          

什么是FASTFLOW？

FASTFLOW是一種專為高性能數據中心設計的擁塞控制算法。它是一種基于發送端的算法，運行在有損以太網上，旨在解決機器學習工作負載帶來的網絡擁塞挑戰。          

為什么需要新的擁塞控制算法？

現有的擁塞控制算法在應對大規模、突發性的數據中心流量時存在不足。許多算法過度依賴延遲作為擁塞信號，導致反應速度慢，無法保證公平性。例如，基于延遲的算法在處理突發流量時，往往反應過慢，導致并發運行的流之間處理不公平，并增加完成時間。

FASTFLOW的設計目標是什么？

FASTFLOW的設計目標是滿足現代高性能擁塞控制算法的需求，包括：

• 公平性：確保所有流都能公平地共享可用帶寬。
• 快速響應：快速檢測和響應網絡擁塞，最大程度地減少延遲和數據包丟失。
• 易于部署：依賴于廣泛可用的網絡功能，無需復雜的硬件支持或配置。

FASTFLOW如何檢測擁塞？

FASTFLOW結合使用ECN標記和往返時間（RTT）測量來檢測擁塞。ECN標記提供快速擁塞信號，而RTT測量提供更詳細的隊列信息。這種雙重機制使FASTFLOW能夠快速準確地響應網絡擁塞。          

FASTFLOW如何應對擁塞？

FASTFLOW根據擁塞的嚴重程度采用不同的擁塞響應機制：

• 公平減少：當檢測到輕微擁塞時，逐漸減少擁塞窗口大小。
• 乘法減少：當檢測到嚴重擁塞時，快速減少擁塞窗口大小。
• 快速適應：當發生數據包丟失時，快速調整擁塞窗口大小，以匹配可用帶寬。

FASTFLOW與EQDS相比如何？

EQDS是一種基于接收端的擁塞控制算法，在管理突發流量方面表現出色。然而，EQDS在處理網絡結構擁塞方面存在不足。FASTFLOW可以補充EQDS的不足，通過限制發送速率來提高EQDS的性能。

STrack: A Reliable Multipath Transport for AI/ML Clusters 

STrack：一種適用于AI/ML集群的可靠多路徑傳輸協議

??https://arxiv.org/abs/2407.15266??

發表時間：2024年7月23日

一、問題背景現今，AI/ML集群廣泛采用InfiniBand作為網絡技術。然而，為降低成本并實現更大規模，基于以太網的技術如RoCEv2開始被采用。盡管RoCEv2在傳統云環境中表現出低延遲和高吞吐的優勢，但在AI/ML集群中，標準RoCEv2存在限制：   

• 單路徑傳輸：RoCEv2依賴ECMP進行負載均衡，但在AI/ML網絡高度并行的路徑中，ECMP易出現哈希沖突，導致流量分布不均，無法滿足AI/ML工作負載對高鏈路利用率的需求。
• 缺乏錯誤韌性：AI/ML集群網絡規模龐大，對網絡的錯誤韌性要求高。RoCEv2依賴無損以太網防止丟包，但位錯誤或數據包延遲仍會發生，其Go-back-N錯誤恢復機制會導致嚴重性能損失。
• 擁塞控制與負載均衡缺乏協同：AI/ML集群需要擁塞控制算法與負載均衡方案協同工作，快速切換路徑以利用未充分利用的鏈路，并在擁塞嚴重時降低速度。RoCEv2的DCQCN擁塞控制算法無法滿足這一需求。
• 硬件卸載復雜性：為實現低延遲，需將傳輸層卸載到硬件。多路徑傳輸需跟蹤每個路徑的擁塞狀態，導致內存開銷過大。此外，多路徑會導致NIC接收數據包亂序，需額外內存跟蹤數據包到達和控制信息。

二、STrack算法          
STrack是新型硬件卸載可靠傳輸協議，旨在通過重新思考傳輸層的關鍵方面提高AI/ML工作負載性能。其主要特點包括：

• 自適應負載均衡：STrack利用出口標記的ECN作為擁塞信號，根據路徑擁塞情況自適應地將數據包分散到多個路徑上，避免哈希沖突，并能有效應對鏈路故障。
• 基于窗口的擁塞控制：STrack采用基于窗口的擁塞控制算法，與自適應負載均衡方案協同工作，在擁塞出現時首先選擇切換路徑，僅當多個路徑擁塞時才降低窗口大小。
• 高效的錯誤恢復：STrack假設以太網是有損的，設計基于接收端NIC亂序數據包計數的可靠錯誤恢復機制，確保快速數據包恢復，并最大程度減少虛假重傳。

三、性能評估          
通過大量仿真實驗，STrack在合成工作負載和集體工作負載方面均優于RoCEv2。   

• 合成工作負載：在全雙向網絡拓撲中，STrack的最大流完成時間（FCT）比RoCEv2提高6.3倍，在過載網絡和非對稱網絡中也表現出顯著優勢。
• 集體工作負載：在全雙向網絡中，STrack的集體完成時間比RoCEv2縮短27.4%，在過載網絡中則縮短4.86倍，尤其在DoubleBinaryTree算法中表現出色。

優勢/特點

• 高性能：通過自適應負載均衡和擁塞控制，STrack能充分利用網絡帶寬，實現低延遲和高吞吐。
• 高可靠性：STrack的錯誤恢復機制能快速檢測和恢復數據包丟失，保證數據傳輸可靠性。
• 硬件卸載：STrack將傳輸層卸載到硬件，減輕CPU負擔，降低系統延遲。
• 無需高級交換機功能：STrack不依賴于數據包修剪、回傳或網絡內遙測等高級交換機功能，易于部署。

關于STrack的常見問題解答          

什么是STrack？

STrack是一種新型的硬件卸載可靠傳輸協議，旨在通過重新思考傳輸層的關鍵方面來提高AI/ML工作負載的性能。它通過結合自適應負載均衡算法和基于RTT的多位擁塞指示器，協同優化擁塞控制和負載均衡，以精確調整擁塞窗口。此外，STrack還支持在多路徑環境中進行硬件加速的亂序交付、選擇性重傳和快速丟包恢復。          

STrack如何進行自適應負載均衡？

STrack使用出口標記的ECN作為擁塞信號，用于自適應數據包噴灑算法，而不是將數據包均勻分布在多個路徑上的盲目數據包噴灑。STrack保留一個簡單的位圖來記錄經歷過ECN標記的熵值，作為擁塞狀態。當ACK返回時沒有ECN標記，則使用該熵值來計時下一個新數據包。如果ACK返回時帶有ECN標記，則在位圖的相應位置進行標記。下一個未標記的熵值以循環方式用于計時新數據包。             

STrack如何進行擁塞控制？

STrack采用發送方擁塞控制來處理結構擁塞和最后一跳incast問題。STrack使用基于窗口的算法來處理跨路徑的擁塞，并與自適應負載均衡方案協同工作。當出現擁塞時，ECN會在數據包位于出口處、離開擁塞隊列時對其進行標記。這為我們提供了即將發生擁塞的早期指示。發送方會避開帶有ECN標記的熵值。與DCQCN不同，帶有ECN標記的數據包不一定會導致STrack縮小其窗口。STrack的擁塞控制使用來自不同路徑的瞬時RTT樣本的平均RTT來決定是否應該縮小擁塞窗口。只有當平均RTT超過閾值（即目標排隊延遲）時，STrack才會縮小擁塞窗口。          

STrack如何處理數據包丟失？

STrack設計了一種數據包丟失恢復機制，可以快速檢測和重傳靜默丟包。此外，STrack的可靠性機制也與合并ACK機制相一致，以適應數據包處理速率增長速度低于鏈路速度的現實。STrack提供了一種跨越三個不同時間尺度的數據包丟失檢測機制：（1）使用亂序數據包計數器，一到兩個RTT；（2）使用探測，多個RTT；（3）使用重傳超時，幾十個RTT。一旦檢測到丟失，只要擁塞窗口允許，就會重傳數據包。

STrack與RoCEv2相比有哪些優勢？

• 更高的帶寬利用率：STrack的自適應負載均衡機制可以更有效地利用多路徑網絡中的所有可用帶寬。
• 更低的延遲：STrack的擁塞控制和快速丟包恢復機制可以顯著降低數據傳輸延遲。
• 更好的可擴展性：STrack可以更好地適應大規模AI/ML集群的需求。

STrack適用于哪些場景？   

STrack非常適合需要高性能、低延遲和可靠數據傳輸的AI/ML集群，例如：

• 分布式深度學習訓練
• 高性能計算
• 大數據分析

STrack的未來發展方向是什么？

• 支持更高級的網絡功能：例如數據包裁剪和網絡內遙測。
• 進一步優化擁塞控制和負載均衡算法：以提高性能和效率。
• 與其他AI/ML系統集成：以簡化部署和管理。

本文轉載自??Andy730??，作者： 常華Andy ????