在大數據基礎架構選型時，經常聽到的一個說法是——“如果數據規模在TB級可以選擇MPP架構的關系型數據庫，如果數據規模上升到PB級則應該選擇Hadoop”。但事實上MPP架構的關系型數據庫與Hadoop的理論基礎是極其相似的，都是將運算分布到節點中獨立運算后進行結果合并。區別僅僅在于前者跑的是SQL，后者則是MapReduce程序。跑什么其實只是形式而已，是用戶使用習慣，相對而言SQL作為數據庫領域的事實標準語言使用更加廣泛，從而限制住用戶快速進入Hadoop大數據時代的步伐。

　　隨著Web2.0、Web3.0、移動互聯網、物聯網等等事物的興起，人們創造了更多的數據，收集更多數據成為可能，業務的需求促進了大數據技術包括Hadoop的發展。不少公司都在加快SQL開發，而星環科技則是其中的一員。星環科技CTO孫元浩在2015年第六屆中國數據庫技術大會(DTCC)上表示，隨著Hadoop上SQL性能上及安全容錯上的不斷提升，Hadoop在未來兩三年將會取代MPP，混合架構會逐漸的消失。

　　作為國內數據庫與大數據領域***規模的技術盛宴，2015年第六屆中國數據庫技術大會(DTCC)在一場北京近年來***的沙塵暴中拉開了序幕。4月16日，大會***天上午，來自星環科技的CTO孫元浩給我們帶來《大數據基礎技術發展的兩大方向和***研發成果》的主題演講。

　　大數據基礎技術發展的兩大方向是什么?為什么會是這兩個?星環科技在這兩方面有那些研發突破?為何Hadoop能取代MPP，混合架構會消失?為何星環科技會與眾不同，定位基礎軟件公司?星環的產品策略又是什么呢?帶著這些問題，老魚在會后專訪了星環科技CTO孫元浩，就這些問題進行詢問和解答。

　　老魚：孫總，您好!一直聽說你是個富有傳奇色彩的人，今天終于見到真人了，先請您跟我們的網友打聲招呼，簡單介紹下自己和公司產品。

　　孫元浩：大家好，我是孫元浩，其實我的經歷還是比較簡單的，大學碩士畢業后加入英特爾，在英特爾工作了10年(曾任英特爾亞太研發有限公司數據中心軟件部亞太區CTO)。2013年離開英特爾創業2年，也就是星環科技，從事大數據時代核心平臺數據庫軟件的研發與服務。公司研發團隊大多來自知名外企，員工的85%為研發工程師，以博士碩士為主。

　　我們的產品Transwarp Data Hub (TDH)是基于Hadoop和Spark的分布式內存分析引擎和實時在線大規模計算分析平臺，相比開源Hadoop版本有10x~100x倍性能提升，可處理GB到PB級別的數據。星環科技同時提供存儲、分析和挖掘大數據的高效數據平臺和服務。

　　老魚：您在演講中提到Hadoop技術經過10年的發展，到目前為止還沒有被大面積普及的制約因素有2個：SQL技術制約和彈性計算的需求沒被得到滿足，這2個因素限制了Hadoop的普及，解決這2個問題將成為大數據技術發展的兩大方向。Hadoop普及涉及的問題有很多，為什么您覺得解決這2個問題會成為大數據技術發展的方向?能否給我們具體分析下?

　　孫元浩：這其實是過去幾年，我們從市場上觀察到的現象，Hadoop還沒有被大面積普遍采用，障礙來自兩個方面：

　　1、SQL on Hadoop的技術進展制約了企業原有應用的遷移以及新應用的開發;

　　2、Hadoop加速Docker化，企業在建設大數據平臺或者Data Lake時，往往有多租戶資源管控和彈性計算的需求，這些需求現有的YARN或者虛擬化技術沒有滿足。

　　***個方面，過去大家談大數據，做一些數據挖掘的工作，但實際上企業更多的應用是在結構化數據的處理，主要用的操作語言是SQL，我們發現60%的Hadoop應用是用在SQL統計領域。

　　當我們把Hadoop運用到企業中去時，新應用有待驗證，老應用其實已經出現了數據量很大，急需用Hadoop來加速的需求，但現在的問題是，客戶想遷到Hadoop上，形成效率降低成本，卻遷不過來!其中的關鍵因素是大量客戶的SQL極端復雜，這種情況我們在運營商和銀行都有發現，銀行貸款風控SQL非常復雜，要完成遷移需要太多時間去改造，有些語法甚至沒辦法改造，因此SQL支持的完整程度比性能更加重要，沒有這些語法支持，要想把現有應用遷移到Hadoop上來是不可行的。

　　SQL作為數據庫領域的事實標準語言，相比較用API(如MapReduce API，Spark API等)來構建大數據分析的解決方案有著先天的優勢：一是產業鏈完善，各種報表工具、ETL工具等可以很好的對接;二是用SQL開發有更低的技術門檻;三是能夠降低原有系統的遷移成本等。因此，SQL語言也漸漸成為大數據分析的主流技術標準。而要想讓SQL用戶快速進入Hadoop大數據時代，就必須要解決這個問題。

　　第二個方面，也來自真實的用戶訴求。我們有三分之一以上的客戶要求把Hadoop跑在虛擬機上，但每次我們都只能無情的拒絕，因為Hadoop放在虛擬機上，性能瓶頸是非常嚴重的，穩定性很差，主要原因是因為傳統的虛擬機是把一臺物理機變成多個虛擬機，CPU負載很低。而虛擬機跑大數據應用， CPU利用往往達到99%，很少有人在虛擬機上把CPU用到99%，這個時候hypervisor就撐不住了，穩定性成為一個大問題，這也就阻礙了用戶使用Hadoop第二個大問題。

　　因此，這2個方向都是我們希望幫助客戶解決的，市場非常大，如果把這2個問題解決，我相信Hadoop在使用上就能再上一個量級。

　　老魚：孫總，能否在這里給我們介紹下星環針對這2個問題，取得的***技術研發成果?

　　孫元浩：其實我們***技術研發成果都是被客戶逼出來的，我們的研發成果是源于用戶需求。有客戶問我們，我這里有21萬2千行的SQL你能不能跑?也客戶有30幾萬行SQL，說你們Hadoop不是很牛嗎?試試能不能跑?這迫使我們在2013年組織一個由編譯器專家組成的團隊，開發了一個Hadoop PL/SQL編譯器，當時的目標是選擇跟Oracle兼容，先把Oracle用戶遷移過來，經過2年的發展，我們星環的Transwarp Inceptor實現了自己的SQL解析執行引擎，可以兼容SQL 99和HiveQL，自動識別語法，因此可以兼容現有的基于Hive開發的應用。由于Transwarp Inceptor完整支持標準的SQL 99標準，傳統數據庫上運行的業務可以非常方便的遷移到Transwarp Inceptor系統上。此外Transwarp Inceptor支持PL/SQL擴展，傳統數據倉庫的基于PL/SQL存儲過程的應用(如ETL工具)可以非常方便的在Inceptor上并發執行。另外Transwarp Inceptor支持部分SQL 2003標準，如窗口統計功能、安全審計功能等，并對多個行業開發了專門的函數庫，因此可以滿足多個行業的特性需求。

 

老魚：我們經常聽到的一個說法，用MPP處理PB級別的、高質量的結構化數據;用Hadoop實現半結構化、非結構化數據處理。這樣可同時滿足結構化、半結構化和非結構化數據的處理需求。而您今天談到一個觀點，隨著SQL在性能上及安全容錯上的不斷提升Hadoop會取代MPP，混合架構架構會消失!這個觀點的依據是什么?

　　孫元浩：混合架構本身就是一種無奈而折中的選擇，同時維護多個系統運維難度非常大。當初，Hadoop的誕生是為了更方便地處理非結構化數據和半結構化數據，但是處理結構化數據的時候功能就顯得不夠完整。用戶還需要使用數據庫或者MPP(大規模并行處理)數據庫，協助Hadoop處理結構化的數據。另外，Hadoop是為處理幾百TB和幾PB數據而設計的，但是，當數據量小于10TB的時候，Hadoop的處理性能往往還不如MPP數據庫。

　　隨著SQL on Hadoop技術的快速發展，SQL完整程度的大幅提高和性能的提升，我們做的***個判斷是混合架構會逐漸的消失，過去MPP數據庫有三個優勢，***個SQL支持完整，現在我們的SQL支持程度已經接近MPP數據庫;第二個它比Hadoop性能高，但我們看到現在Hadoop性能可以超過MPP若干倍。第三個優勢就是說它上面的BI工具，外延工具非常全，傳統的BI廠商都已經轉向Hadoop，Hadoop系統的BI工具也越來越豐富，還有一些新興的創業公司在Hadoop上開發全新的BI工具，這些工具原生支持Hadoop，從這個角度來講Hadoop的生態系統將很快超越傳統MPP數據庫。

　　我們覺得在未來一年兩年之內，Hadoop將逐漸取代MPP數據庫，大家不需要用混合架構，不需要在不同數據庫之間實現遷移了。有人說我MPP也在遷移，慢慢向Hadoop靠攏，這也是事實，整個MPP的數據庫在慢慢消失，完全走到Hadoop上面來。我們希望***結果就是數據全部放在Hadoop上，不管數據在幾個GB級別還是10個PB級別，都可以在Hadoop上處理，真正做到無限的線性擴展。

　　老魚：星環科技我理解是一個做基礎軟件(數據庫)的公司，不知道這么理解對不對?為什么當初是這個定位?

　　孫元浩：你這個問題很好，現在有很多客戶也問我同樣的問題，客戶把我們定位成一個大數據應用和解決方案的公司，是因為國內大部分大數據公司都是這種類型，其實我們定位是大數據平臺，是做基礎軟件的。為什么要做基礎軟件?因為我們看到一個明顯的技術演進趨勢，從單機計算，多核計算到分布式計算，這個趨勢是技術的潮流，是一次至下而上的架構革命，這種機會可能10年或者20年才能碰到一次，而這一領域正是我們擅長的，所以我們準備投入到這個領域。在中國，用戶數眾多，除了美國，中國企業的數據量普遍要多于國外企業一個數量級;中國企業的應用場景也非常復雜，很少有國外產品不經修改在中國能夠不出故障地運行，因此中國也是需要這樣一個大數據的基礎軟件公司，所以我們認為在中國市場發展的機會很大，這也我們在基礎軟件發力的原因。我們在中國也有很多的合作伙伴，開發著各種應用，我們也在建立生態系統。

　　綜上所述，***，技術趨勢在向這個領域發展。第二，市場環境對我們有利。第三、我們創始人和團隊的技術儲備和經驗在這個領域很深厚。這就是我們創立星環科技的初衷，致力于提供優秀的大數據基礎軟件，來解決這些問題。

　　老魚：做基礎軟件是一件非常難的事情，資金、人才、技術、規模等等要求都非常高，您在創業的是否有考慮過這些問題?

　　孫元浩：這也是個很好的問題，我們有思想準備。做基礎軟件確實是一個投入非常大的事情，動輒上千萬上億投入，才能把產品做好。如果我們去做應用，在大數據應用領域我們沒有太大的創新點，也沒辦法去區別于其他公司，而基礎軟件是我們擅長的。

　　我們的目標并不是追逐短期內獲益或者說是個人財富短期迅速增長，我們目標放的更長遠，那就是要把這個事情做好。星環的大部分人都是從外企走出來的，大家放棄了高薪，唯一的目的就是想把這個事業做好。

　　做基礎軟件，人才一直是比較難解決的問題，不過創業型公司跟大型外企和互聯網公司相比，我認為有幾點還是比較有吸引力：

　　***、我們的工作是創新的前沿的，比較挑戰性，這對技術高手是比較有吸引力的。

　　第二、員工激勵，我們是全員持股，每個人都有公司期權，這跟在外企打工有很大不同，大家都是平等的，都是指揮官，大家一起奮斗。

　　第三，國內創業環境氛圍很好，國家鼓勵創新創業，對于人才的加入創造了一個有利的環境。

　　當然除此之外，招聘依然還是個老大難的問題，因此我們一方面與招聘機構合作，另一方面也自己在培養新員工，引進一些技術高手。

　　老魚：從架構圖中，我看到星環對Spark, Shark, Hbase等Hadoop生態圈的組件都進行很多的改造和優化，也常關注國內外大數據的***技術動態并且考慮如何加入到產品中來，星環新增功能和產品功能改造將會依據一個什么樣的規則?

 

　　孫元浩：我們的產品策略，得從我們的產品架構圖上講起。如下圖

 

Hadoop這層我們會與社區同步，并向社區反饋貢獻。在Hadoop之上這層，我們會有3大組件Transwarp Hyperbase, Transwarp Stream，Transwarp Inceptor,這3個組件我們定位成自己的產品，我們會獨立開發和發展，這塊產品啟用標準的SQL，或者開放API，這是個分割線。Hadoop生態系統的組件我們保證和開源版本全兼容的，包含Spark也會跟接口做兼容性測試。