海關(guān)數(shù)據(jù)倉庫云平臺(tái)：大塊頭有大智慧
欄目寄語：
云計(jì)算的大門已經(jīng)打開。為強(qiáng)化云技術(shù)，落地云應(yīng)用，彰顯云價(jià)值，《中國計(jì)算機(jī)報(bào)》與微軟(中國)有限公司聯(lián)合舉辦的Windows Server 2012 云創(chuàng)益大賽，歷時(shí)5個(gè)多月，共吸引了9760名選手報(bào)名參加個(gè)人賽，103支隊(duì)伍參加企業(yè)級(jí)比賽，官網(wǎng)訪問量達(dá)到180萬次，官方微博互動(dòng)達(dá)12384條。大賽為IT人提供了一個(gè)了解云、應(yīng)用云、體驗(yàn)云的交流共享平臺(tái)。你創(chuàng)想，云實(shí)現(xiàn)。通過大賽，更多云人才始露鋒芒，更多云應(yīng)用落地生根。本專欄將連載大賽最終獲獎(jiǎng)的10個(gè)企業(yè)級(jí)優(yōu)秀方案，以期展示標(biāo)桿應(yīng)用，帶動(dòng)產(chǎn)業(yè)發(fā)展。
“數(shù)據(jù)是基礎(chǔ)。如果數(shù)據(jù)沒有高效的承載，應(yīng)用做得再好，都不會(huì)達(dá)到很好的效果。”青島海關(guān)云架構(gòu)師任林認(rèn)為。
“數(shù)據(jù)處理是一個(gè)很重要的能力。之前海關(guān)的數(shù)據(jù)都由各個(gè)部門分散去做，而我們想找到一個(gè)解決方案，將這些數(shù)據(jù)梳理并構(gòu)建一個(gè)體系，從而提升海關(guān)整體的數(shù)據(jù)處理能力。”任林口中的方案，正是他的團(tuán)隊(duì)(XRZ隊(duì))參加微軟Windows Server 2012云創(chuàng)益大賽團(tuán)隊(duì)賽的作品——動(dòng)態(tài)數(shù)據(jù)倉庫高性能云計(jì)算平臺(tái)(簡(jiǎn)稱數(shù)據(jù)倉庫云平臺(tái))。
其實(shí)，動(dòng)態(tài)數(shù)據(jù)倉庫項(xiàng)目已經(jīng)在海關(guān)運(yùn)行了多年，但采用的是分布式的部署方式。全國目前共有46個(gè)直屬海關(guān)單位，600個(gè)隸屬海關(guān)和辦事處，通關(guān)監(jiān)管點(diǎn)近4000個(gè)。分散的數(shù)據(jù)管理方式顯然存在著不便于統(tǒng)一管控、資源得不到最佳配置等弊端。在云計(jì)算技術(shù)日趨成熟的今天，包括任林在內(nèi)的海關(guān)技術(shù)團(tuán)隊(duì)，開始思考能否利用云計(jì)算，將數(shù)據(jù)按云的方式向用戶提供服務(wù)，實(shí)現(xiàn)數(shù)據(jù)服務(wù)集中化、降本增效和真正意義上的動(dòng)態(tài)可控。
“過去，我們有實(shí)際的需求，但是沒有有效的手段。”任林對(duì)《中國計(jì)算機(jī)報(bào)》記者表示，“Windows Server 2012的推出，恰好為我們提供了解決實(shí)際需求的思路、提供了可實(shí)現(xiàn)的手段。”
數(shù)據(jù)倉庫云化
云再也不只飄在天上，它已經(jīng)可以被你我欣賞、觸及。特別是隨著Windows Server 2012這款被微軟稱為云操作系統(tǒng)內(nèi)核的系統(tǒng)軟件的發(fā)布，任林等人將海關(guān)數(shù)據(jù)倉庫云化提上了日程。
任林介紹，他們首先將基礎(chǔ)設(shè)施云化，再基于微軟并行數(shù)據(jù)倉庫(Parallel Data Warehouse，簡(jiǎn)稱PDW)進(jìn)行高性能的數(shù)據(jù)存儲(chǔ)與管理，將數(shù)據(jù)處理執(zhí)行從原來的節(jié)點(diǎn)遷移到了云引擎中，并將應(yīng)用進(jìn)行了重新設(shè)計(jì)，以服務(wù)的方式提供給用戶。就這樣，包括北京、上海、廣州等多個(gè)云數(shù)據(jù)中心為基礎(chǔ)的海關(guān)數(shù)據(jù)倉庫云平臺(tái)設(shè)計(jì)應(yīng)運(yùn)而生，它還包括動(dòng)態(tài)數(shù)據(jù)倉庫云門戶、動(dòng)態(tài)數(shù)據(jù)倉庫云引擎和最上層的Web應(yīng)用云部署中心。
“我們?cè)趧?dòng)態(tài)數(shù)據(jù)倉庫云化方面做了很多嘗試。目前，我們基于微軟Windows Server 2012和Azure架構(gòu)做了一些工作，建立了一套以數(shù)據(jù)為核心的管理體系，為用戶提供高水平、高效率的平臺(tái)，以支撐我們整個(gè)海關(guān)的應(yīng)用。”任林說。
以服務(wù)的方式提供數(shù)據(jù)
“大數(shù)據(jù)是現(xiàn)在業(yè)界的熱點(diǎn)，但是我們的方案絕不是跟風(fēng)和炒作。這些都是我們的實(shí)際需求，也是我們實(shí)實(shí)在在的應(yīng)用。”任林表示。
任林將數(shù)據(jù)處理能力視為信息化體系中非常重要的能力之一，它離不開海關(guān)的實(shí)際應(yīng)用場(chǎng)景。全國海關(guān)系統(tǒng)每天都在生成大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，每時(shí)每刻遍布全國的海關(guān)業(yè)務(wù)終端都要利用這些數(shù)據(jù)進(jìn)行業(yè)務(wù)辦理、分析與查詢。“目前平臺(tái)整體的數(shù)據(jù)量已經(jīng)達(dá)到了上百TB的規(guī)模，下一步我們還要將基于Hadoop架構(gòu)的非結(jié)構(gòu)化數(shù)據(jù)遷移到平臺(tái)上來。按照我們的規(guī)劃，平臺(tái)可以支撐PB級(jí)的數(shù)據(jù)量。”任林說。
據(jù)任林的團(tuán)隊(duì)測(cè)試，在海關(guān)數(shù)據(jù)倉庫云平臺(tái)上，4TB數(shù)據(jù)量的兩表聯(lián)合查詢僅需29秒，10TB數(shù)據(jù)量的三表聯(lián)合查詢僅需1分30秒。依托Windows Server 2012提供的云計(jì)算平臺(tái)和PDW帶來的高性能數(shù)據(jù)倉庫，海關(guān)的綜合管理業(yè)務(wù)平臺(tái)提供了即席查詢、固定查詢、多維分析、報(bào)表指標(biāo)等各種數(shù)據(jù)處理功能。云計(jì)算與高性能，也讓海關(guān)各個(gè)部門高效聯(lián)動(dòng)審批成為可能。例如，如果業(yè)務(wù)人員通過指標(biāo)分析發(fā)現(xiàn)了業(yè)務(wù)中的風(fēng)險(xiǎn)點(diǎn)，可立即通過發(fā)送聯(lián)系處置單，要求相應(yīng)部門進(jìn)行處置。
實(shí)際上，海關(guān)云計(jì)算“一切皆服務(wù)”的理念不僅僅只體現(xiàn)在基礎(chǔ)設(shè)施層面，它在應(yīng)用層面也有充分的體現(xiàn)。“我們的目標(biāo)就是通過云計(jì)算的方式，讓用戶只需要提交需求，接收返回結(jié)果，而不用去關(guān)心其中具體的操作過程。”任林表示，“Windows Server 2012和微軟其他產(chǎn)品幫助我們實(shí)現(xiàn)了這一理念。我們自己提供了可視化的操作界面，用戶不用再寫代碼，即可完成對(duì)綜合業(yè)務(wù)管理平臺(tái)的操作。例如在生成SQL查詢時(shí)，用戶可以完全使用拖拽的方式選取各個(gè)表和字段，很方便地完成各種定制查詢。”
統(tǒng)一管理各種平臺(tái)
任林認(rèn)為，云計(jì)算的最大價(jià)值在于保持業(yè)務(wù)的連續(xù)性。“Windows Server 2012基本具備了云操作系統(tǒng)的特征，它能夠?yàn)榈讓犹峁┯行Ч芾恚瑢?duì)上層服務(wù)提供持續(xù)性支持。”
“由于海關(guān)IT系統(tǒng)復(fù)雜多樣，我們對(duì)Windows Server 2012采用了逐步引入的方式，并投入了很大精力進(jìn)行兼容性測(cè)試。”為了保障數(shù)據(jù)倉庫云平臺(tái)服務(wù)的高可用性，任林的團(tuán)隊(duì)經(jīng)過反復(fù)實(shí)驗(yàn)，最終基于Windows Server 2012、System Center 2012建立了兼容性較高的資源管理體系。“通過Windows Server 2012和System Center 2012，平臺(tái)能夠支持各個(gè)主流廠商的軟硬件和基礎(chǔ)環(huán)境。比如我們可以兼容管理Linux、VMware等系統(tǒng)，基本滿足了需求。”任林向記者介紹。
Windows Server 2012可以實(shí)現(xiàn)通過一個(gè)節(jié)點(diǎn)完成對(duì)整個(gè)數(shù)據(jù)中心的實(shí)時(shí)任務(wù)管理，這種管理方式可以讓海關(guān)運(yùn)維人員輕松地在一個(gè)地點(diǎn)管理大規(guī)模的服務(wù)器集群。“以前，對(duì)服務(wù)器集群管理需要從這個(gè)控制臺(tái)到那個(gè)控制臺(tái)，甚至從這個(gè)桌面到那個(gè)桌面。現(xiàn)在，一個(gè)桌面就可以完成數(shù)據(jù)中心幾千臺(tái)設(shè)備的管理。”任林興奮地說，“對(duì)運(yùn)維工程師來說，這是一個(gè)很酷的功能，而且非常實(shí)用。”
值得一提的是，目前平臺(tái)正是使用了微軟System Center 2012中的 Virtual Machine Manager(虛擬機(jī)管理器，簡(jiǎn)稱SCVMM)進(jìn)行統(tǒng)一管理。無疑，SCVMM這一重量級(jí)工具在新版本中有了新的提升。“它讓我們能夠以較低的成本去管理多個(gè)廠商的產(chǎn)品，讓運(yùn)維人員不用每天對(duì)著多個(gè)不同的管理界面，大幅提高了工作效率。”任林說。
實(shí)現(xiàn)資源最優(yōu)配置
效率不僅源于高性能的設(shè)備和管理工具，更源于對(duì)數(shù)據(jù)倉庫資源配置的設(shè)計(jì)。結(jié)合業(yè)務(wù)需求，任林的團(tuán)隊(duì)將海關(guān)動(dòng)態(tài)數(shù)據(jù)倉庫的應(yīng)用分為三個(gè)級(jí)別：最高級(jí)別應(yīng)用基于PDW，中等級(jí)別應(yīng)用基于青島海關(guān)搭建的數(shù)據(jù)庫群集，而低級(jí)別應(yīng)用基于SQL Server。
“海關(guān)中有很多業(yè)務(wù)是需要即席查詢的，業(yè)務(wù)終端需要即時(shí)查詢、馬上返回結(jié)果，這就需要通過PDW來進(jìn)行快速的執(zhí)行。”任林向記者介紹，“而有一些固定查詢，比如某些報(bào)表是每月生成一次，那么就可以安排在較低的應(yīng)用級(jí)別來完成，甚至可以提前進(jìn)行。”
在這樣一個(gè)按照業(yè)務(wù)需求分級(jí)別進(jìn)行數(shù)據(jù)管理的解決方案中，不僅提高了數(shù)據(jù)的管理效率，同時(shí)也提高了硬件資源的利用率。任林介紹，在數(shù)據(jù)倉庫云平臺(tái)項(xiàng)目中，他們逐步引入新的系統(tǒng)和設(shè)備，并對(duì)原有設(shè)備進(jìn)行了整合改造，安排進(jìn)行相對(duì)低級(jí)別的工作，這樣使得IT資源得到更好的配置利用。
云計(jì)算的本質(zhì)就是對(duì)資源進(jìn)行更為有效的利用。在資源利用方面，任林的團(tuán)隊(duì)其實(shí)有更偉大的設(shè)想。“如果能夠通過云計(jì)算將IT資源進(jìn)行充分的配置，作為公共管理與服務(wù)部門，我們希望對(duì)內(nèi)部的IT能力進(jìn)行梳理，最終將能力釋放出來，為公眾提供更加廣泛的服務(wù)。”任林說。
方案亮點(diǎn)
(1)本方案讓W(xué)indows Server 2012的價(jià)值在大規(guī)模應(yīng)用場(chǎng)景中得以充分體現(xiàn)，實(shí)現(xiàn)了平臺(tái)的高可用性。
(2)方案同樣適合中大型規(guī)模應(yīng)用，結(jié)合PDW，實(shí)現(xiàn)了系統(tǒng)的可擴(kuò)展和高性能。
(3)實(shí)現(xiàn)安全高效統(tǒng)一管理：多中心、外網(wǎng)統(tǒng)一門戶管理、多服務(wù)器遠(yuǎn)程管理。
