跨數(shù)據(jù)中心的情況再次發(fā)生變化。

圖 1：以太網(wǎng)路線圖

加速采用云基礎(chǔ)設(shè)施和服務(wù)正在推動(dòng)對(duì)更多帶寬、更快速度和更低延遲性能的需求。 先進(jìn)的交換機(jī)和服務(wù)器技術(shù)正在迫使布線和架構(gòu)發(fā)生變化。 無(wú)論您的設(shè)施的市場(chǎng)或重點(diǎn)如何，您都需要考慮企業(yè)或云架構(gòu)的變化，這些變化可能是支持新要求所必需的。 這意味著了解推動(dòng)采用云基礎(chǔ)架構(gòu)和服務(wù)的趨勢(shì)，以及使您的組織能夠滿足新要求的新興基礎(chǔ)架構(gòu)技術(shù)。 

在規(guī)劃未來(lái)時(shí)，需要考慮以下幾點(diǎn)。

一、數(shù)據(jù)中心格局正在演變

1、全球數(shù)據(jù)使用

當(dāng)然，這些變化的核心是正在重塑消費(fèi)者期望和對(duì)更多更快通信的需求的全球趨勢(shì)，例如：

1. 社交媒體流量爆炸式增長(zhǎng)
2. 5G 服務(wù)的推出，通過(guò)大規(guī)模的小型蜂窩密集化實(shí)現(xiàn)
3. 加速物聯(lián)網(wǎng)和 IIoT（工業(yè)物聯(lián)網(wǎng)）的部署
4. 從傳統(tǒng)的辦公室工作轉(zhuǎn)向遠(yuǎn)程選項(xiàng)

2、超大規(guī)模供應(yīng)商的增長(zhǎng)

在全球范圍內(nèi)，真正的超大規(guī)模數(shù)據(jù)中心可能不到十幾個(gè)左右，但它們對(duì)整體數(shù)據(jù)中心景觀的影響是巨大的。 根據(jù)最近的研究，僅在 2020 年，全世界的在線時(shí)間就達(dá)到了 12.5 億年。大約 53% 的流量通過(guò)超大規(guī)模設(shè)施。

3、與多租戶數(shù)據(jù)中心 (MTDC / co-Location) 設(shè)施建立超大規(guī)模合作

隨著對(duì)更低延遲性能的需求增加，超大規(guī)模和云規(guī)模供應(yīng)商努力將他們的存在擴(kuò)展到更靠近最終用戶/終端設(shè)備的地方。 許多人正在與 MTDC 或托管數(shù)據(jù)中心合作，將他們的服務(wù)定位在所謂的網(wǎng)絡(luò)“邊緣”。 當(dāng)邊緣物理上靠近時(shí)，較低的延遲和網(wǎng)絡(luò)成本會(huì)擴(kuò)大新的低延遲服務(wù)的價(jià)值。 

在超大規(guī)模領(lǐng)域，MTDC 和主機(jī)代管設(shè)施正在調(diào)整其基礎(chǔ)設(shè)施和架構(gòu)，以支持更典型的超大規(guī)模數(shù)據(jù)中心日益增長(zhǎng)的規(guī)模和流量需求。 同時(shí)，這些最大的數(shù)據(jù)中心必須繼續(xù)靈活地滿足客戶對(duì)與云提供商入口交叉連接的請(qǐng)求。

4、Spine-Leaf 和 Fabric Mesh 網(wǎng)絡(luò)

支持低延遲、高可用性、超高帶寬應(yīng)用的需求幾乎不僅限于超大規(guī)模和托管數(shù)據(jù)中心。 所有數(shù)據(jù)中心設(shè)施現(xiàn)在都必須重新考慮其處理最終用戶和利益相關(guān)者不斷增長(zhǎng)的需求的能力。 作為回應(yīng)，數(shù)據(jù)中心管理人員正在迅速轉(zhuǎn)向光纖更密集的網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)。 任意對(duì)任意連接、更高光纖數(shù)的主干電纜和新的連接選項(xiàng)使網(wǎng)絡(luò)運(yùn)營(yíng)商能夠支持更高的通道速度，因?yàn)樗麄儨?zhǔn)備過(guò)渡到每秒 400 G。

5、啟用人工智能 (AI) 和機(jī)器學(xué)習(xí) (ML)

此外，部分受物聯(lián)網(wǎng)和智慧城市應(yīng)用驅(qū)動(dòng)的大型數(shù)據(jù)中心提供商正在轉(zhuǎn)向人工智能和機(jī)器學(xué)習(xí)，以幫助創(chuàng)建和完善數(shù)據(jù)模型，以支持近乎實(shí)時(shí)的邊緣計(jì)算能力。 除了有可能實(shí)現(xiàn)新的應(yīng)用世界（想想商業(yè)上可行的自動(dòng)駕駛汽車(chē)）之外，這些技術(shù)還需要海量數(shù)據(jù)集（通常稱為數(shù)據(jù)湖）、數(shù)據(jù)中心內(nèi)的海量計(jì)算能力和足夠大的管道來(lái)推動(dòng)在需要時(shí)將模型細(xì)化到邊緣。

6、向 400G/800G 遷移的時(shí)機(jī)

不要僅僅因?yàn)槟憬裉煲? 40G 甚至 100G 的速度運(yùn)行，就不要陷入虛假的安全感。 如果數(shù)據(jù)中心發(fā)展的歷史教會(huì)了我們什么，那就是變化的速度——無(wú)論是帶寬、光纖密度還是通道速度——都呈指數(shù)級(jí)加速。 向 400G 的過(guò)渡比您想象的要近。 不確定？ 將您當(dāng)前支持的 10G（或更快）端口的數(shù)量加起來(lái)，想象它們發(fā)展到 100G，您會(huì)意識(shí)到對(duì) 400G（及更高）的需求并不遙遠(yuǎn)。

二、對(duì)數(shù)據(jù)中心意味著什么？

隨著數(shù)據(jù)中心經(jīng)理展望未來(lái)，基于云的演進(jìn)跡象無(wú)處不在。

在云本身內(nèi)部，硬件正在發(fā)生變化。 傳統(tǒng)數(shù)據(jù)中心中典型的多個(gè)不同網(wǎng)絡(luò)已經(jīng)發(fā)展為使用池化硬件資源和軟件驅(qū)動(dòng)管理的更加虛擬化的環(huán)境。 這種虛擬化推動(dòng)了以盡可能快的方式路由應(yīng)用訪問(wèn)和活動(dòng)的需求，迫使許多網(wǎng)絡(luò)管理員問(wèn)：“我如何設(shè)計(jì)我的基礎(chǔ)架構(gòu)來(lái)支持這些云優(yōu)先的應(yīng)用？”

答案從啟用更高的信道速度開(kāi)始。 從 25 到 50 到 100G 及以上的演進(jìn)是達(dá)到 400G 及以上的關(guān)鍵，它已開(kāi)始取代傳統(tǒng)的 1/10G 遷移路徑。 但它不僅僅是提高信道速度，還有更多。 我們必須更深入地挖掘。

三、什么正在推動(dòng)向更高速度的轉(zhuǎn)變？

數(shù)據(jù)中心行業(yè)正處于拐點(diǎn)。 400G 的采用速度非常快，但很快 800G 預(yù)計(jì)將開(kāi)始比 400G 更快。 正如人們所預(yù)料的那樣，對(duì)于“什么推動(dòng)了向 400G 的過(guò)渡？”沒(méi)有簡(jiǎn)單的答案。 有多種因素在起作用，其中許多是相互交織的。 當(dāng)通道速率增加時(shí)，新技術(shù)可以降低每比特成本。 

最新數(shù)據(jù)顯示，100G 通道速率將與八進(jìn)制交換機(jī)端口相結(jié)合，從 2022 年開(kāi)始將 800G 選項(xiàng)推向市場(chǎng)。然而，這些端口正以多種方式被利用，如 Light Counting 數(shù)據(jù)所示，正如在光計(jì)數(shù)數(shù)據(jù)6中所示，其中400G和800G主要被分解為4X或8X 100G。正是這種突破性的應(yīng)用，成為了這些新型光學(xué)應(yīng)用的早期驅(qū)動(dòng)因素。

四、向 400G 的過(guò)渡是一項(xiàng)集體努力

400G/800G 遷移的四大支柱

當(dāng)您開(kāi)始考慮支持遷移到 400G 的“具體細(xì)節(jié)”時(shí)，很容易被所涉及的所有移動(dòng)部件所淹沒(méi)。 為了幫助您更好地了解需要考慮的關(guān)鍵變量，我們將它們分為四個(gè)主要領(lǐng)域：

1. 增加交換機(jī)端口密度
2. 光收發(fā)器技術(shù)
3. 連接器選項(xiàng)
4. 布線進(jìn)展

這四個(gè)領(lǐng)域共同代表了遷移工具箱的重要組成部分。 使用它們來(lái)微調(diào)您的遷移策略，以滿足您當(dāng)前和未來(lái)的需求。

更高的交換機(jī)端口密度（radix）——ToR 的終結(jié)？

隨著序列化/反序列化器(SERDES)為交換專用芯片從10G、25G、50G移動(dòng)提供電氣I/O，交換速度正在提高。一旦IEEE802.3ck成為被批準(zhǔn)的標(biāo)準(zhǔn)，SERDES預(yù)計(jì)將達(dá)到100G。開(kāi)關(guān)專用集成電路(asic)也在增加I/O端口密度(又名基數(shù))。更高的基數(shù)asic支持更多的網(wǎng)絡(luò)設(shè)備連接，提供了消除層頂機(jī)架(ToR)交換機(jī)的潛力。這反過(guò)來(lái)又減少了云網(wǎng)絡(luò)所需的交換機(jī)總數(shù)。(一個(gè)擁有100,000臺(tái)服務(wù)器的數(shù)據(jù)中心可以支持兩級(jí)交換，基數(shù)為512。)更高的基數(shù)asic意味著更低的資本支出(更少的交換機(jī))，更低的運(yùn)營(yíng)支出(更少的交換機(jī)供電和冷卻所需的能源)，并通過(guò)更低的延遲改善網(wǎng)絡(luò)性能。

圖 4：Effects of higher Radix switches on switch bandwidth

與基數(shù)和交換速度的提高密切相關(guān)的是從架頂式 (ToR) 拓?fù)湎蛐兄?(MoR) 或行尾 (EoR) 配置的轉(zhuǎn)變，以及結(jié)構(gòu)化的好處 布線方法適用于促進(jìn)行內(nèi)服務(wù)器和 MoR/EoR 交換機(jī)之間的許多連接。 使用新的高基交換機(jī)需要以更高的效率管理大量服務(wù)器附件的能力。 這反過(guò)來(lái)又需要新的光學(xué)模塊和結(jié)構(gòu)化布線，例如 IEEE802.3cm 標(biāo)準(zhǔn)中定義的那些。 IEEE802.3cm 標(biāo)準(zhǔn)支持可插拔收發(fā)器的優(yōu)勢(shì)，可與大型數(shù)據(jù)中心的高速服務(wù)器網(wǎng)絡(luò)應(yīng)用一起使用，定義一個(gè) QSFP-DD 收發(fā)器的八個(gè)主機(jī)連接。

圖 5：架構(gòu)從 ToR 轉(zhuǎn)變?yōu)?MoR/EoR

收發(fā)器技術(shù)

正如 QSFP28 外形尺寸的采用通過(guò)提供高密度和低功耗推動(dòng)了 100G 的采用一樣，新的收發(fā)器外形尺寸正在實(shí)現(xiàn)向 400G 和 800G 的飛躍。 當(dāng)前的 SFP、SFP+ 或 QSFP+ 光學(xué)器件足以實(shí)現(xiàn) 200G 鏈路速度。 然而，躍升至 400G 需要將收發(fā)器的密度提高一倍。 沒(méi)問(wèn)題。

QSFP-雙密度 (QSFP-DD7) 和八進(jìn)制（2 倍四倍）小型可插拔 (OSFP8) 多源協(xié)議 (MSA) 使網(wǎng)絡(luò)能夠?qū)⑴c ASIC 的電氣 I/O 連接數(shù)量增加一倍。 這不僅允許匯總更多 I/O 以達(dá)到更高的聚合速度，還允許 ASIC I/O 連接的總數(shù)到達(dá)網(wǎng)絡(luò)。

具有 32 個(gè) QSFP-DD 端口的 1U 交換機(jī)外形與 256 (32x8) 個(gè) ASIC I/O 匹配。 這樣，我們既可以在交換機(jī)之間建立高速鏈路（8*100或800G），又可以在附加服務(wù)器時(shí)保持最大連接數(shù)。

新的收發(fā)器格式

圖 6：OSFP 與 QSFP-DD 收發(fā)器

隨著 OEM 試圖進(jìn)入超大規(guī)模和云規(guī)模數(shù)據(jù)中心的最佳位置，400G 的光學(xué)市場(chǎng)受到成本和性能的推動(dòng)。 2017 年，CFP8 成為第一代 400G 模塊規(guī)格，用于核心路由器和 DWDM 傳輸客戶端接口。 CFP8 收發(fā)器是 CFP MSA 指定的 400G 外形尺寸類型。模塊尺寸略小于 CFP2，而光學(xué)器件支持 CDAUI-16 (16x25G NRZ) 或 CDAUI-8 (8x50G PAM4) 電氣 I/O。帶寬密度方面，分別支持CFP和CFP2收發(fā)器8倍和4倍的帶寬密度。

“第二代”400G 外形模塊采用 QSFP-DD 和 OSFP。 QSFP-DD 收發(fā)器向后兼容現(xiàn)有的 QSFP 端口。它們建立在現(xiàn)有光模塊 QSFP+ (40G)、QSFP28 (100G) 和 QSFP56 (200G) 的成功之上。

OSFP 與 QSFP-DD 光學(xué)器件一樣，支持使用 8 個(gè)通道而不是 4 個(gè)通道。兩種類型的模塊都支持 1RU 卡（交換機(jī)）中的 32 個(gè)端口。為了支持向后兼容性，OSFP 需要一個(gè) OSFP-to-QSFP 適配器。

調(diào)制方案

圖 7：使用更高速的調(diào)制方案來(lái)支持 50G 和 100G 技術(shù)

網(wǎng)絡(luò)工程師長(zhǎng)期以來(lái)一直在為 1G、10G 和 25G 使用不歸零 (NRZ) 調(diào)制，并使用主機(jī)端前向糾錯(cuò) (FEC) 來(lái)實(shí)現(xiàn)更遠(yuǎn)距離的傳輸。 為了從 40G 到 100G，業(yè)界簡(jiǎn)單地轉(zhuǎn)向并行化 10G/25G NRZ 調(diào)制，同時(shí)利用主機(jī)端 FEC 來(lái)實(shí)現(xiàn)更長(zhǎng)的距離。 在實(shí)現(xiàn) 200G/400G 和更快的速度時(shí)，需要新的解決方案。

因此，光網(wǎng)絡(luò)工程師采用了四級(jí)脈沖幅度調(diào)制（PAM4）來(lái)實(shí)現(xiàn)超高帶寬網(wǎng)絡(luò)架構(gòu)； PAM4 是 400GPAM4 的當(dāng)前解決方案。 這在很大程度上基于 IEEE802.3，它已經(jīng)為多模 (MM) 和單模 (SM) 應(yīng)用完成了速率高達(dá) 400G (802.3bs/cd/cu) 的新以太網(wǎng)標(biāo)準(zhǔn)。 有多種分線選項(xiàng)可用于適應(yīng)大型數(shù)據(jù)中心中的不同網(wǎng)絡(luò)拓?fù)洹?/p>

更復(fù)雜的調(diào)制方案意味著需要能夠提供更好的回波損耗和衰減的基礎(chǔ)設(shè)施。

預(yù)測(cè)——OSFP 與 QSFP-DD

關(guān)于 OSFP 與 QSFP-DD，現(xiàn)在判斷行業(yè)將走向何方還為時(shí)過(guò)早。這兩種外形尺寸都得到領(lǐng)先的數(shù)據(jù)中心以太網(wǎng)交換機(jī)供應(yīng)商的支持，并且都擁有大量的客戶支持。也許企業(yè)會(huì)更喜歡 QSFP-DD 作為對(duì)當(dāng)前基于 QSFP 的光學(xué)器件的增強(qiáng)。隨著 OSFP-XD 的引入，OSFP 似乎正在推動(dòng)地平線的擴(kuò)展，將通道數(shù)量擴(kuò)展到 16 個(gè)，并著眼于未來(lái) 200G 的通道速率。

對(duì)于高達(dá) 100G 的速度，QSFP 已成為首選解決方案，因?yàn)榕c雙工收發(fā)器相比，它具有尺寸、功率和成本優(yōu)勢(shì)。 QSFP-DD 在此成功的基礎(chǔ)上提供了向后兼容性，允許在具有新 DD 接口的交換機(jī)中使用 QSFP 收發(fā)器。

展望未來(lái)，許多人認(rèn)為 100G QSFP-DD 封裝將在未來(lái)幾年流行。 OSFP 技術(shù)可能更適合 DCI 光鏈路或那些特別需要更高功率和更多光 I/O 的鏈路。 OSFP 支持者設(shè)想在未來(lái)出現(xiàn) 1.6T 甚至 3.2T 收發(fā)器。

聯(lián)合封裝光學(xué)器件 (CPO) 提供了通往 1.6T 和 3.2T 的替代路徑。但 CPO 將需要一個(gè)新的生態(tài)系統(tǒng)，該生態(tài)系統(tǒng)可以將光學(xué)器件移近交換機(jī) ASIC，以在降低功耗的同時(shí)實(shí)現(xiàn)更高的速度。該軌道正在光互聯(lián)網(wǎng)絡(luò)論壇 (OIF) 中開(kāi)發(fā)。 OIF 現(xiàn)在正在討論可能最適合“下一個(gè)速率”的技術(shù)，許多人主張將其翻倍至 200G。其他選項(xiàng)包括更多的車(chē)道——可能是 32 條，因?yàn)橐恍┤苏J(rèn)為最終將需要更多的車(chē)道和更高的車(chē)道率，以以可承受的網(wǎng)絡(luò)成本跟上網(wǎng)絡(luò)需求。

唯一確定的預(yù)測(cè)是，布線基礎(chǔ)設(shè)施必須具有內(nèi)置的靈活性，以支持您未來(lái)的網(wǎng)絡(luò)拓?fù)浜玩溌芬蟆ｋm然天文學(xué)家長(zhǎng)期以來(lái)一直認(rèn)為“每個(gè)光子都很重要”，因?yàn)榫W(wǎng)絡(luò)設(shè)計(jì)人員希望將每比特的能量降低到幾 pJ/Bit9，但每個(gè)級(jí)別的守恒都很重要。高性能布線將有助于減少網(wǎng)絡(luò)開(kāi)銷(xiāo)。

未完待續(xù)……