Sort Benchmark是不是跑分測試？騰訊云奪冠的配置是否有實際應用？
原創【51CTO.com原創稿件】最近，一個國際計算賽事Sort Benchmark引起了業界的極大關注。
與SPEC有所不同，Sort Benchmark(http://sort benchmark.org/ )在國內并不為大多數人所熟知，Sort Benchmark不是有了云計算才有的賽事。該機構的賽事由1998年圖靈獎的獲得者Jim Gray主辦，歷屆的奪冠企業薈萃了AWS以及大數據領域著名的Hadoop和Apache Spark等知名科技公司。可以說，Sort Benchmark就是今天計算賽事的***殿堂。
而這次能引起討論和關注，是因為這次入榜登頂的身影中有兩家中國的云計算服務商。
Sort Benchmark是什么？為什么最近引起關注？
Sort Benchmark發展經歷了很長時間，隨著摩爾定律的不斷發展，集群計算調度算法的不斷發展，Sort Benchmark的排序方法也不斷發生變化，除了不斷變化的評比方法外，Sort Benchmark新增了基本原則，在Sort Benchmark的官網上，我們看到，2014年開始出現了CloudSort測試。
（上圖）騰訊云獲Graysort和Minutesort冠軍，南京大學、阿里云、Databricks組成的聯合參賽團隊獲Cloudsort冠軍
以上三種六項測試中，騰訊云的是Graysort和Minutesort，南京大學、阿里云、Databricks組成的參賽團隊獲得的是Cloudsort，因為騰訊云、阿里云的參與遂引發關注。
Graysort，Minutesort和Cloudsort分別指的是什么呢？
Graysort測的是排序大量數據（目前最小為100TB）時花費的時間，時間越短效率越高。
Cloudsort測的是排序一定數據量時花的成本最少，花的錢越少越好，其實就是性價比。
Minutesort測的是在60分鐘之內排序的數據量，排的數據量越多越好。
各項測試分為兩種：Daytona和Indy，兩者的區別在于，前者是通用目的排序，后者要求是專用目的排序。這次榜單中恰巧兩項都是相同的，這種情況在以往也經常能看見。
測試有個基本的原則是使用的都是商用化在市場上能買得到的東西，既有直接的硬件方案，也有基于租用的云主機做的方案，并且不能經過任何修改，測試需要排序的數據都是由gensort record generator生成。
2014年百度獲得過冠軍獎項，2015年阿里云獲得Graysort和Minutesort兩種四項冠軍。2016年騰訊云將比賽記錄總體提升了2.8倍到5倍，今年南京大學、阿里云、Databricks聯合團隊獲得Cloudsort兩個子項的冠軍，拿到了AWS在2014年獲得的冠軍位置（AWS并沒有直接參與到這次測試，加州大學獨立參賽，使用AWS在售的虛擬機）。
Sort Benchmark比的是什么呢？
Sort Benchmark考量的是一家公司或機構大規模計算能力的綜合實力，不僅全面評測分布式系統軟件架構能力（如海量數據分布式存儲、計算任務切片調度、節點通信協調同步、數據計算監控容災等性能），也評測了硬件架構能力（如服務器硬件選配、網絡架構調優、IDC規劃建設能力等）。
從Sort Benchmark的官網可以看到，騰訊云采用IBM Power處理器，許多人印象中的IBM Power形象非常高大上，但從成本上來算，騰訊云方面表示由Power組成的整體配置的TCO成本，低于去年阿里云方案的成本
（上圖）騰訊云的配置
（上圖）阿里云去年的配置
去年阿里云的方案中采用3134+243一共3377多個節點，每個節點用兩路六核的E5-2630或者兩路八核的E5-2650 V2，單機性能與Power8系統相比有些差距，但與今年騰訊云使用的512節點10核POWER 8整體計算集群相比相差不是特別大。而且兩者都不是近期才更新的產品，Power8是2013年8月發布的，E5 2600 V2系列也是2013年發布的。
內存總量方面阿里內存總量較高；存儲IO方面，騰訊云用的是NVMe協議的SSD，阿里云用的是SATA磁盤，騰訊云有優勢，但考慮到這里的計算本身可以由內存完成,隨機讀寫的要求不高，優勢也不是很明顯；網絡方面，騰訊云用的是Mellanox的100Gb高速互聯技術，雖然集群機器數少了6倍，這倒是有明顯優勢。
整體看，512臺機器整體TCO與阿里云去年3377臺機器相比成本低，同時從內存、磁盤、網絡等整體看與去年的差異不大。相比之下，騰訊云跑出的成績則高出了許多，其中98.8秒排完100TB的Indy Graysort項更是賺足了眼球。
這說明，騰訊云這次靠的不是高成本堆硬件，考驗的是在軟硬件的綜合實力，從架構到代碼，到硬件底層驅動都需要做優化，強化調度能力，內存利用率等。
另外值得注意的是CloudSort這一項，2014年AWS創造的排100TB數據花費451美金，而今年阿里云僅用144美金，兩年時間刷新了榜單記錄。不過就目前來看，使用當前的硬件價格與2年前的價格進行比較，其可比意義有待商榷。
Sort Benchmark測試能與實際應用相結合
Sort Benchmark的比賽規則要求所有的硬件都必須是商用硬件配置，意在讓測試與應用相結合，而不是簡簡單單的跑分測試。南京大學采用阿里云進行CloudSort測試用的都是公開售賣的云主機，可以被用戶使用。而騰訊云基于Power的方案在哪兒使用呢？
據了解，騰訊云基于Power的方案在內部系統中也投入了實際使用。半年前OpenPower峰會上宣布要讓Power幫騰訊跑大數據應用，這次比賽表明Power在騰訊已經落實。
騰訊云和阿里云在Sort Benchmark的參與，展示了國內云服務商的計算能力，拿到了四種測試中三種的冠軍。未來還有一項測試等待挑戰，那就是Sort Benchmark的Joule（焦耳），它測試的是排序一定量數據所消耗的功耗。目前該項測試冠軍由微軟把持，測試中使用的不是Linu而是Win8，畢竟有操作系統的廠商屬于特例。
（上圖）Sort Benchmark的Joule（焦耳）項目
【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】
