如何在短短48小時內用云計算給地球做B超?
今年杭州云棲大會上，中國館地震局的地球物理科學家王偉濤博士在Tech Insight的數據存儲技術實戰專場做了一場主題分享：名為《云計算在地震學研究中的應用-利用bcs和海量數據創建虛擬地震》。 他介紹，原本需要一年計算時間的整個中國數千個地震臺兩兩之間的五年數據的計算任務，在云計算中狂飆，48小時之內就計算完成了。
這到底是如何實現的呢?
我們的祖先凝望星河閃耀，卻花費萬年時間才摸索出天體運行規律。
我們的前輩坐看潮涌潮平，卻歷經千秋萬代才能航行到大洋彼岸。
而我們自己，在這片土地上繁衍至今，卻仍舊對腳下的大地懵然無知。
從觀察記錄到規律預測，幾乎是人類科學史的全部邏輯。
但每次我們拼盡全力記下的數據，都只是抬高知識瀚海的涓涓細流。
當我們提筆開始繁復演算的時候，期待的是阿基米德跳出浴缸、牛頓舉起蘋果的那一刻。
王偉濤博士正是這樣計算的執筆人，他來自中國地震局。他想知道的，是我們腳下大地的每個細節。
浩如煙海的計算
我們經歷的每一次地震，都在提醒自己預測和預警這種災害的迫切性。但是，我們距離這個目標還很遠。
為更好的認識地震這一物理現象，需要極其的詳細的地殼結構影像，而為了繪制這張地下地圖，又需要詳盡的數據計算。 目前為止人類打到地下最深的井是前蘇聯鉆探的科拉超深井，約12.2公里，但是地震的震源深度往往在地下十幾到幾十公里，當前的科技根本無法在震源深度開展直接觀測。
所以我們需要依靠分布在全國的數千個地震臺來對地震波進行探測，震波在地下的傳播特性，受到地質結構的影響，這也是地震波可以用來繪制地底圖像的原理。這些地震臺可以感知地震的“大震波”，也同樣可以捕捉日常的“大地噪聲”，例如海潮拍擊大陸的震動。王偉濤說。
根據地震波進行地底成像的原理
王偉濤告訴記者，像他這樣的地球物理科學家幾乎都是半個程序員。 因為從地震波到地底成像，中間要經過超越一般人想象的大規模程序計算。他的計算模型是這樣的： 每一次震動都會由近至遠依次傳遞到各個地震臺，所以理論上來說，每個地震臺都會對同一次震動做出自己的記錄，這些數據既有差異有又聯系。
利用這些數據，可以計算出一些“虛擬地震”。 用每兩個地震臺之間進行數據互相關對比計算，就可以獲取研究中國地下的總體結構所需要的寶貴數據。
虛擬地震可以模擬出和真實地震一樣的數據，所以可以用于本來沒有發生地震的地區的地底成像 每個地震波數據都有 E，N，Z(東西，南北，垂直)三個向度的分量，全國2000多個永久和臨時地震臺就是 6000 個分量，每年的數據量大概是 30TB，而我們的總數據量已經到了 PB 級別。
由于我們要相互對比每一個地震臺每個時間點的每個分量數據，這些計算量是呈指數級增長的。 王偉濤的智慧和經驗，恰恰表現在他所設計的程序和算法之上。 但耗費很大心力完成這個算法的王偉濤博士發現，他才踏上了萬里長征的第一步，還有一個巨大的困難橫亙在面前。
圖中每兩個地震臺之間的連線(灰色)都是需要計算的數據，總計算量極其龐大。如果使用單機對這些數據進行計算，大概需要七年時間。按照一個人的職業生涯二十年計算的話，我在退休前只能完成三次計算。在這種情況下，大規模分布式的云計算似乎成為了唯一的選擇。
然而，云計算的機理絕不像聽起來這么輕盈。記者也采訪到了中國地震局的合作伙伴阿里云的童鞋們，在他們眼里，云計算和科學研究一樣，集合了人類最頂尖的智慧。
所需存儲空間、計算量和預計單機計算所需的時間
分布式存儲：有關農場的游戲
云存儲就像一個大的農場，每個服務器就像一個工人，而你的數據就是羊。阿里云存儲高級專家承宗說。看來他是個牧場達人。“分布式存儲”，可以看作分布式計算的基礎條件。也就是說，你的羊要先放進阿里云的“農場”，它的工人才會幫你照料、喂養、剪毛、紡線。
對于王偉濤博士的數據來說，僅僅是存儲在云端，就需要無數“黑科技”。
在將要進行的計算中，計算系統會對存儲系統進行大規模的訪問。而這些訪問必須要平均地打到服務器上，絕不能存在熱點。而這還不夠，由于服務器的硬件故障在大規模集群中會變成一個常態事件，所以必須做好資源的實時調度和提供故障容忍能力。
例如保證在摘掉一塊硬盤的時候，其余的硬盤要迅速用備份數據把存儲追齊。
承宗舉了以上兩個例子。這兩個例子換成農場的比喻，大概是如下表述： 農場對于工人的工作量要平均分配，絕不能出現“對著一個羊薅羊毛”的情況發生。另外，農場每天都有工人病倒、請假，要在最短的時間把他的工作合理分配給很多人，這樣別的工人也不至于負荷過大。
整個阿里云的分布式文件系統，被命名為盤古。在承宗心里，盤古還有很多智能化的“黑科技”。
他舉例了一個例子： 我們人類看到的磁盤都一樣，但是盤古看到的磁盤各不相同。它會根據歷史訪問數據的積累，例如寫入的速度和效率，對每一塊磁盤的健康度進行打分。
對于健康狀況不好的磁盤，就相應減輕一些工作分配。這些底層的技術，都可以為王偉濤博士下一步真正的計算做準備。
承宗說，在分布式計算中，數據帶寬成為了一個重要的參數。從王偉濤博士的角度來看，如果把數據存儲在自己的服務器上，僅僅利用阿里云的計算能力進行結果輸出，是不能實現的。原理很簡單，分布式計算的所有服務器都向一個存儲單位發送數據讀取請求，帶寬會被瞬間堵死，再強大的算力都無法發揮。
至于具體數據，百兆光纖的帶寬一般是 100Mb/s，而硬盤的帶寬最高可達幾Gb/s，而阿里云存儲內網訪問帶寬(云計算系統內部)可以高達Tb/s級別。
批量計算：建造一座金字塔
接下來，王偉濤博士的數據就會進入最終計算的環節。我熟悉了自己習慣的 Linux 系統，所有的計算代碼都是在這個環境中完成的，如何讓我的代碼在云計算的環境中發揮作用，是一個很重要的問題。王偉濤說。
地底成像數據的計算流程
在地震科學研究方面，阿里云顯然沒辦法提出算法建議，所以他們需要做的是，提供一個通用的接口，讓王偉濤可以使用自己機房中的電腦、界面和Linux 系統，來對云上的計算進行控制。
阿里云提供的兼容和適配能力，是阿里計算專家林河山頗為驕傲的地方。 王博士在此之前沒有使用過分布式集群，也沒有使用過“超算”，所以直接跨越到云上，從操作和控制層面來說，對他來說會是個挑戰。
我們提供的計算接口可以讓單機程序不做修改就高效執行在云環境下。用戶通過幾句簡單的命令就能在云上調動大規模的計算資源進行分析，而不需要學習復雜的分布式計算知識。其實很多從其他地方過渡到云計算的人都會有這樣的問題，所以不僅是王博士，很多其他用戶也會用到我們的通用計算接口。他說。 這個時候，大規模計算的障礙基本被掃清了。
不過，林河山告訴記者，云計算真正的核心技術，還在于批量計算的算力調度之上。
大規模計算的加速流程和模式 計算規模擴大之后，就會造成對存儲資源的訪問非常頻繁，這時，對于訪問的并發量的控制就要非常“小心”了。
王博士的應用有非常多的小I/O請求，如果每一次I/O請求都直接訪問云存儲，由此帶來的延時會對計算效率造成影響。為了進一步優化計算性能，批量計算采取了“分布式緩存”的策略，把有可能會用到的數據，提前緩存到計算節點周圍。這樣，就可以讓計算能力不受集群規模的限制。林河山說。
而即使是這樣，還遠遠不夠，對于數據訪問究竟采取多大“粒度”，是考驗系統智能的重要時刻。如果一次讀取過多，可能造成帶寬擁堵，如果一次讀取過少，又會造成頻繁訪問。而針對不同類型的數據，都要做出合理的預判，自動地讀取，是一項艱巨的任務。
打個比方： 這如同建造一座金字塔，數萬名“奴隸”要分工合作。工程師要決定：是犧牲速度一次性運輸多個石塊到現場，還是犧牲數量，一次快速運輸一塊石頭到現場。
同樣，面對浩瀚的金字塔工程，每時每刻要分配多少奴隸來攪拌砂漿，分配多少奴隸來搬運石塊，分別分配多少奴隸來負責建造各個區塊，這個即使是工程師都需要仔細考量才能完成的任務，都要交給系統自動完成，難度可想而知。
當然，如此繁復的計算過程，出錯是經常會發生的。
林河山舉了一個例子： 在渲染追光動畫的動畫片《小門神》時，阿里云的容錯機制就發揮了作用。(當時在峰值有 2000臺服務器參與了大規模批量計算。)一般情況下， 對于視頻的渲染工作是一個連續的長流程。如果某一幀渲染中哪怕只有一個節點出問題，都會造成訪問的大規模延時，造成邏輯上的擁堵，產生“熱點”。
林河山說：“阿里云的做法是，在計算出錯之后，在最短的時間內重跑，如果在跑的過程中確認節點存在問題，還會自動調度到另一個地方，這些對于用戶來說都是沒有感知的，但是在背后，我們必須做出大量的努力。
繪制地下的世界
原本需要一年計算時間的整個中國數千個地震臺兩兩之間的五年數據的計算任務，在云計算中狂飆，48小時之內就計算完成了。
地球內部成像，恰似人體的B超
這在云計算時代來臨以前是無法想象的。 從科學研究的角度來看，這些數據是原始的地震觀測數據的數據產品，同時也是后續科學研究所依賴的重要數據，可以很好地支撐王偉濤進行接下來的研究。 從外界看來計算過程非常順利，而剛才我們所感受的一切艱辛，都只發生在背后的代碼世界。
借用阿里云產品總監李津的話： 當計算結果輸出的時候，我們所有的技術人員都沉默了。
我們多么渴望這樣的數據早幾十年被計算出來，這樣我們就能為人類認識地震這一自然災害爭取寶貴的時間。
拋開商業的云霧，可以看到云計算真正的的鋒利所在。
王偉濤的研究并沒有停止，他說： 目前為止，我只做了2011年到2015年的一個向度上的數據分析，未來還會繼續把更多向度和頻率上的數據進行計算?？茖W研究的精確度是可以一直提高的。越來越精確的地底數據，會為礦產勘探、防震減災和地震科學研究提供非常強的支持。
科學的有趣之處，正是在于不斷地嘗試。有可能一覺醒來想到新的方法，就要重新改寫公式和代碼，通過計算進行驗證。
也許有一天，屬于王偉濤的那只蘋果會悄然落下。那一刻，是王偉濤的勝利，也同樣是人類計算力的勝利。 我們傾盡全力提高算力，把數據的涓涓細流匯聚成洪荒之力，只是因為我們不愿對腳下的大地懵然無知。
