統一存儲后 以太網能否搶占HPC？
以太網在存儲領域的應用可以說成功嗎?
iSCSI(IP SAN)從提出到進入市場，也就是大約10年的時間，如今已經從傳統光纖通道(FC)SAN存儲網絡手中成功分得一杯羹。并且隨著10GbE(萬兆以太網)的普及和DCB無損以太網的應用，iSCSI在可預見的范圍內仍將保持一定時間的較高增長率。NAS文件存儲的情況，筆者覺得有些受當前經濟形勢的影響，盡管人們都看好非結構化數據的增加，但短時間內的投資情況可能不夠樂觀。
FCoE是否成功：交換機/適配器廠商各執一詞
曾被人們寄予厚望的FCoE(以太網光纖通道)，它的實際應用推進速度似乎遠低于人們的預期。上個月在美國圣何塞舉行的博科分析師與科技日上，博科數據中心和企業網絡副總裁Jason Nolet表示：“我們在FCoE上投入了大量資金研發，但現實的情況是采用率較低，不僅是從服務器到架頂式交換機，端到端的存儲應用幾乎沒有。但我們會繼續努力，保持關注。”
至于客戶不愿采用FCoE的原因，Jason Nolet認為不是技術問題，而是不愿破壞15年來在傳統SAN基礎設施上的投入。FCoE“虛假承諾”融合不同的基礎架構，但無法保證達到FC的性能和可靠性，而且負責以太網和存儲網絡的兩個組織機構沒有協調好。
9月12日在大會現場展示的Brocade DCX 8510-4 Backbone 16Gb/s FC核心交換機。
以太網依舊是博科技術日的主要話題，但如今提起FCoE的人已經少多了...
占據優勢地位的FC交換機廠商這樣說，以網絡適配器為主業的公司對FCoE市場的發展又是什么樣的觀點呢?
在上周Emulex中國公司開業慶典暨北京新址開業儀式的采訪中，Emulex總裁兼***運營官Jeff Benck表示：“FCoE作為一個技術層面，它的增長速度顯然是沒有能夠達到我們幾年前預期的那么快。但是每年我們都看到了FCoE產品和技術出現的增長。目前FCoE產品占我們以太網產品的15%，而且隨著我們在萬兆級以太網市場不斷地發展，估計這個比率將繼續保持下去，所以它仍然會出現成熟性的增長。目前英特爾推出的Sandy Bridge服務器即Romley平臺會進一步發展，在萬兆級以太網中FCoE作為強有力的組成部分，預計明年這部分的增長速度將更快。”
Jeff Benck還說：“現在我們正在大力推動基于融合型以太網的RDMA(RoCE)解決方案，預計明年這項技術將廣泛應用在我們的萬兆以太網市場。除此之外明年我們還將繼續推動40Gb以太網相關的產品，這能夠進一步的將部分高性能計算的工作流轉移到以太網上。”
在Emulex的一份資料中，筆者看到了這樣一段話：
“我們計劃將支持RoCE(融合以太網上的RDMA)的下一代40/100GbE解決方案的成本和性能優勢相結合，使公司可以從老牌InfiniBand(IB)提供商手中賺取HPC市場份額。正如Emulex在早期10GbE過渡過程中利用存儲(iSCSI和光纖通道)堆棧來對更大型競爭對手進行側翼包圍的做法一樣，公司將充分利用RoCE，在向40和100GbE技術過渡的過程中進一步鞏固業務和戰略領先優勢。”
這個圖片來自2010年7月Emulex的演講資料
先不討論前面一句HPC的，對于以太網給Emulex帶來新的增長點，以及他們利用存儲特性在10GbE市場競爭中獲益這些，筆者都能認同。 Emulex、QLogic和Brocade在以太網存儲應用普及，特別是看到未來傳統FC被FCoE替代的可能性下，都有類似的轉型動作，而應該說 Emulex較另外兩者在這方面做得更堅決。通過最近幾個季度的財報，我們已經能看出效果了。
Jeff Benck對此這樣表示：“我們對于萬兆以太網的市場造成了顛覆性影響，戰勝了英特爾和博通，我們通過萬兆級的產品給客戶提供了一些新的價值，這樣客戶可以重新思考自己應該采用什么樣的產品。我們所推出的解決方案不僅是加速，而且具備新的功能。”
這里所謂的新價值，或者說新功能，就是在相同硬件(包括LOM芯片和CNA適配卡)上提供普通10GbE以太網、iSCSI和FCoE三種不同應用形式。我們無法去實際驗證Emulex聲稱的端口出貨數量，但更加完善的存儲堆棧，確實幫助他們贏得IBM和惠普等刀片/機架式服務器的選擇。
RoCE：Emulex以太網的下一個“FCoE”
接著再看高性能計算。InfiniBand很早就推出了10Gb/s速率的產品，在萬兆以太網還沒完全普及的今天，40Gb/s(DDR)和56Gb/s(QDR)IB已經在成為主流，預計下一代技術將是100Gb/s的EDR(8*12.5Gb/s)。
除了帶寬之外，HPC應用對網絡的延時也相當敏感。IB在這方面的優勢主要來自RDMA(遠程直接內存訪問)，而以太網則“輸”在TCP/IP協議上。Mellanox ConnectX-3雙端口適配器/芯片方案的MPI(消息傳遞接口)ping延時只有1微秒，而受TCP/IP數據封包效率影響的以太網ping延時可達幾十微秒。
Mellanox ConnectX-3 InfiniBand/VPI芯片模塊圖、關鍵特性
我們知道閃存的延時大大低于機械硬盤，因此這兩年市場中出現的一些高性能固態存儲系統提供了InfiniBand主機接口，比如運行Fusion-io ION(離子)軟件的外部閃存存儲方案，以及Mellanox VSA高速塊存儲目標端&網關軟件。
那么，如果以太網應用RDMA之后延時會顯著改善嗎?答案是肯定的，盡管它仍然不具備InfiniBand的一些先天優勢，正所謂術業有專攻。
不同速率服務器(網絡)適配器和板載網絡端口的市場出貨量統計及預測。
來源：Crehan Research，2011年2月。從這個看的話，未來40GbE有可能與InfiniBand爭搶市場。
記者：如果說RoCE是Emulex的下一個重要機會的話，這扇門是否也面對其他廠商敞開呢?比如英特爾和Mellanox兩家公司就同時具備以太網和InfiniBand技術。談到RoCE，他們在HPC行業中的經驗更加豐富。Emulex對此怎么看呢?
Jeff Benck回答說：“目前我們推出的RoCE產品是針對40G的市場，當然有一些高端的高性能計算用戶仍然會使用InfiniBand。但是現在數據中心一個通用的趨勢就是減少延遲和增加帶寬，所以我相信目前使用以太網的用戶以后會繼續使用以太網產品。我們并不是說要和Mellanox來進行競爭，推我們自己的Emulex的產品，這不是我們的戰略所在;而相反的是，我們是希望把目前應用在InfiniBand上的一些工作負荷流轉移到以太網當中，通過RDMA的形式。以太網一直是我們的優勢，也將繼續是我們的工作核心和重點。
另外我想補充一下。如果你看一下Mellanox這家公司，他們的以太網產品只占我們的25%，因此我們在這方面具備較大優勢。再看Intel，對QLogic(IB業務)的兼并，的確使Intel具備了InfiniBand相關產品解決方案，但是他們的產品技術有些落后。當他們在推動針對InfiniBand的FDR和EDR解決方案的時候，在適應40G以太網上的步伐肯定比我們走的要慢。”
總結：以筆者的了解，行業對RoCE沒有當初的FCoE那樣看好，估計它在短時間內給InfiniBand帶來的威脅也會比較有限。但就像上一次FCoE對Emulex的幫助那樣，RoCE的確有可能給他們以太網業務的發展帶來下一個增長點。畢竟Intel和Mellanox應該不希望“左右互搏”，對RoCE的支持恐怕不會太積極吧?
