2011年11月30日，由BMC軟件舉辦的云計(jì)算管理技術(shù)大會在上海舉行，會上各路專家將就云計(jì)算愿景、云計(jì)算應(yīng)用、云計(jì)算管理、業(yè)務(wù)服務(wù)管理（BSM）等話題展開精彩探討。以下是BMC中國高級軟件顧問李二超先生的精彩演講：

云計(jì)算從某種角度來講就像我們要實(shí)現(xiàn)的共產(chǎn)主義社會，我們不是為了共產(chǎn)主義而共產(chǎn)主義，實(shí)現(xiàn)共產(chǎn)主義的目的是為了更好的生活。同樣，我們之所以建云計(jì)算，其目的是為了更好的服務(wù)于我們的業(yè)務(wù)，這是講云計(jì)算是我們必須要掌握的一個(gè)基本前提。 

[[53204]] 
BMC中國高級軟件顧問 李二超

在這個(gè)前提之下，接下來我們將從業(yè)務(wù)、從應(yīng)用、從作業(yè)的角度來看我們怎么和云計(jì)算做相應(yīng)的配合。我們將從實(shí)用化的角度來看，在云計(jì)算的時(shí)代，我們業(yè)務(wù)怎么去跑，我們的應(yīng)用怎么去跑，我們的作業(yè)怎么去跑。所以今天下午我演講的題目是作業(yè)自動化，演繹在云端。

主要的內(nèi)容分為四個(gè)方面：第一，簡單介紹一下IT發(fā)展方向及作業(yè)調(diào)度的新挑戰(zhàn)。第二，隨著云計(jì)算，隨著虛擬化，隨著自動化我們作業(yè)方面會做什么調(diào)整。第三，介紹BMC Control—M企業(yè)級作業(yè)調(diào)度自動化系統(tǒng)。第四，介紹BMC  Control—M對云計(jì)算的支持。

首先看IT發(fā)展的方向及作業(yè)調(diào)度的新挑戰(zhàn)。IT發(fā)展的方向主要有四個(gè)大的方面，一個(gè)方面云計(jì)算化，過去，我們主要建設(shè)物理設(shè)備，在以后我們可能更多會把IT的服務(wù)當(dāng)成一種商品，除了自己去建這些東西，我們可能直接購買相應(yīng)的服務(wù)。比如我需要windos的服務(wù)器，我可能直接向公有云購買，這樣做會是一個(gè)非常高效的使用。第二，目前這個(gè)階段用得最廣泛的是虛擬化的東西，在我們自己的數(shù)據(jù)中心，信息中心里面都會用到虛擬化的技術(shù)。虛擬化方面也正在向云計(jì)算方向靠攏，虛擬化是云計(jì)算其中一部分。第三方面是移動化，我現(xiàn)在不需要把我的操作人員，管理人員綁在機(jī)房里面，而是把他們解放出來，讓他們有活動的自由，這樣方便我們操作的用戶做自助的服務(wù)。最后一個(gè)方面對IT管理方面的演進(jìn)。既然我們有云計(jì)算的資源，虛擬的資源，從業(yè)務(wù)來講，這些資源對我來講必須是統(tǒng)一透明的，不管業(yè)務(wù)跑在物理上，虛擬上還是云計(jì)算上，必須要有一個(gè)統(tǒng)一的基礎(chǔ)。另外一個(gè)方面在云計(jì)算時(shí)代，一個(gè)必須要求就是你要進(jìn)一步提高它的自動化水平，包括云計(jì)算提供的自動化，第二包括作業(yè)在云計(jì)算資源上執(zhí)行自動化。所以這是四個(gè)大概的方向。

那么在云計(jì)算時(shí)代，云計(jì)算環(huán)境下，批量調(diào)度的新挑戰(zhàn)在什么地方？可以從幾個(gè)方面來看，第一，在云計(jì)算時(shí)代，你最基本的要求，根據(jù)作業(yè)處理的需要，根據(jù)我們業(yè)務(wù)的需要，要?jiǎng)討B(tài)去提供這些資源，云計(jì)算核心的概念就是動態(tài)隨需的概念，避免人工干預(yù)和操作，如果云計(jì)算時(shí)代還是靠人工去判斷，其實(shí)就不是馬拉火車的概念而是馬拉飛機(jī)的概念了，所以從效率來講，人工干預(yù)是制約效率非常大的瓶頸。第二，要?jiǎng)討B(tài)分配作業(yè)。根據(jù)需要選擇作業(yè)執(zhí)行是在物理設(shè)備上運(yùn)行，是在虛擬資源上運(yùn)行，還是在云計(jì)算下運(yùn)行。第三，我們要做透明化一致化的平臺，我既可以調(diào)度物理資源也可以調(diào)度云計(jì)算資源，在各種平臺上的作業(yè)可以有機(jī)交互在一起。如果這三個(gè)方面不能很好解決的話，就會造成時(shí)間上，人力上，跟資源上的浪費(fèi)。最關(guān)鍵是從云計(jì)算的核心來講，失去了動態(tài)隨需的資源，云計(jì)算也就失去了它真正存在的意義。總結(jié)下來，我們在云計(jì)算需要避免的問題就是避免浪費(fèi)時(shí)間，避免浪費(fèi)資源，避免增加錯(cuò)誤，避免存在潛在的風(fēng)險(xiǎn)這幾個(gè)大方面。

怎么去解決這樣的問題呢？從我們分析來看，主要幾個(gè)方面。第一，建設(shè)一個(gè)支持云計(jì)算的企業(yè)級集中作業(yè)調(diào)度管理平臺。第二，實(shí)現(xiàn)作業(yè)調(diào)度的自動化，同時(shí)整合和規(guī)范企業(yè)里面的批量作業(yè)調(diào)度。我們要提倡從業(yè)務(wù)的價(jià)值作為核心，把底層的批量處理，把底層的作業(yè)及其管理提升到一個(gè)戰(zhàn)略的高度。把底層的作業(yè)和上面的業(yè)務(wù)很好的關(guān)聯(lián)起來。方案解決的問題是，在時(shí)間上給我們節(jié)約，同時(shí)節(jié)約我們?nèi)肆Y源，第三避免人工操作的錯(cuò)誤，最后對客戶來講，對IT來講，最終目的是降低了風(fēng)險(xiǎn)。這是我們解決問題的主要思路。

我們要把整個(gè)作業(yè)調(diào)度系統(tǒng)和IT流程的自動化進(jìn)行有機(jī)的結(jié)合。服務(wù)器的部署，業(yè)務(wù)的提供可能都要做自動化，服務(wù)器的部署自動化：比如我做一個(gè)服務(wù)器的提供，我要在上面做升級跟補(bǔ)丁，我需要要跟作業(yè)做關(guān)聯(lián)，我在升級的時(shí)候，在重啟服務(wù)器的時(shí)候不能有作業(yè)調(diào)度到我服務(wù)器上執(zhí)行。再一個(gè)就是業(yè)務(wù)影響分析，假如底層批量作業(yè)出了問題，究竟會影響我哪些應(yīng)用。還有就是跟事件關(guān)聯(lián)，這邊作業(yè)出了問題是不是可以跟事件平臺進(jìn)行有效關(guān)聯(lián)，通知事件平臺進(jìn)行相應(yīng)的解決處理。

在云計(jì)算的平臺下有一個(gè)新的發(fā)展方向，所謂作業(yè)調(diào)度也是一個(gè)動態(tài)適應(yīng)的過程，有兩個(gè)方面：一個(gè)是資源的優(yōu)化，既然我現(xiàn)在有虛擬化，有云計(jì)算資源，既然我有這個(gè)資源池，就要根據(jù)作業(yè)調(diào)度的需要啟動這些資源，在作業(yè)量大到一定程度的時(shí)候，解決不了問題的時(shí)候，我才需要這些資源增加進(jìn)來。第二個(gè)方面，動態(tài)的自動化。一，我根據(jù)現(xiàn)在業(yè)務(wù)的需要，決定我現(xiàn)在要不要啟動某一個(gè)業(yè)務(wù)的流程，或者某一個(gè)作業(yè)處理的流程。二，易于使用，根據(jù)用戶的要求，并不是把整個(gè)作業(yè)調(diào)度放在后臺通過運(yùn)行中心集中進(jìn)行管理，而是我給業(yè)務(wù)用戶也提供了視角，業(yè)務(wù)用戶可以看到作業(yè)運(yùn)行的情況，它可以觸發(fā)、暫停業(yè)務(wù)的執(zhí)行。所以：一個(gè)是動態(tài)的自動化一個(gè)資源的優(yōu)化，分別是跟云計(jì)算和虛擬化做了緊密的結(jié)合。

另外看BMC CONTROL—M驅(qū)動作業(yè)調(diào)度在云端。首先是云計(jì)算，可以支持運(yùn)行在云和虛擬化之上的業(yè)務(wù)應(yīng)用。第二是虛擬化，通過批處理業(yè)務(wù)流程管理VMware基礎(chǔ)架構(gòu)。還有一個(gè)是移動技術(shù)，BMC Control-M提供自助服務(wù)，支持移動化。最后一個(gè)是IT管理演進(jìn)，批量處理業(yè)務(wù)服務(wù)和服務(wù)器自動化交互，業(yè)務(wù)自動化和IT流程無縫集成。我們來看一下CONTROL—M的產(chǎn)品，這在BMC是一個(gè)旗艦的產(chǎn)品，年收入是3億美金，超過全公司業(yè)務(wù)收入的10%左右。超過2700家用戶，遍布全球。CONTROL—M產(chǎn)品有超過300人的專職研發(fā)團(tuán)隊(duì)，年收入的20%用于產(chǎn)品研發(fā)，可以不斷根據(jù)客戶使用的需求，比如云計(jì)算虛擬化，自動化擴(kuò)充產(chǎn)品的能力，以順應(yīng)產(chǎn)品的潮流。這個(gè)產(chǎn)品是有30年的歷史，產(chǎn)品的更新方面我們保持每兩年有一個(gè)大的版本的更新，我們在實(shí)際的使用過程中，大量的客戶其實(shí)是從其他作業(yè)調(diào)度系統(tǒng)遷移過來的，我們因此定制了一些自動化的遷移工具，方便用戶的遷移。

下面是CONTROL—M實(shí)現(xiàn)IT運(yùn)行的簡約化、智能化、自動化。把運(yùn)行走私在底層基礎(chǔ)架構(gòu)上的批量作業(yè)跟上層業(yè)務(wù)有效的關(guān)聯(lián)起來，作為CONTROL—M來講，是從業(yè)務(wù)角度看底層的基礎(chǔ)架構(gòu)或者云計(jì)算的環(huán)境。理想的作業(yè)調(diào)度方案包括四個(gè)大的方面，一個(gè)方面是單點(diǎn)控制統(tǒng)一調(diào)度，我們要真正建立起企業(yè)級的作業(yè)調(diào)度系統(tǒng)，不管運(yùn)行在物理上，虛擬上，云計(jì)算上，我統(tǒng)一在一個(gè)地方對所有作業(yè)進(jìn)行跨平臺管理，對這個(gè)系統(tǒng)來講，基本要求就是易擴(kuò)張高可靠性的體系架構(gòu)，不論是分階段部署也好，還是以后隨著業(yè)務(wù)的擴(kuò)張，我要不斷增大規(guī)模也好，系統(tǒng)必須支持易擴(kuò)展的架構(gòu)。第二，超越監(jiān)控，智能管理。就是說這個(gè)系統(tǒng)必須支持強(qiáng)大的排程能力。并有完善的意外管理及告警，我作業(yè)在運(yùn)行時(shí)候出錯(cuò)了，我對各種錯(cuò)誤信息的不同可以自動進(jìn)行處理。可以進(jìn)行動態(tài)調(diào)度及分析，再一個(gè)作業(yè)負(fù)荷的虛擬化跟云計(jì)算。第三是作業(yè)生命周期管理。比如一個(gè)企業(yè)，你有一萬個(gè)作業(yè)，或者兩萬個(gè)作業(yè)構(gòu)建在一個(gè)系統(tǒng)上面，那么對這些作業(yè)的定義，更新，版本，備份就是非常現(xiàn)實(shí)的問題，提交，等待，運(yùn)行，返回，分析這些是放在數(shù)據(jù)庫里面，我怎么利用這些信息，怎么把這些信息變成有價(jià)值有意義的資產(chǎn)，可以為以后更精細(xì)化的管理服務(wù)，這也是一個(gè)現(xiàn)實(shí)的挑戰(zhàn)。最后必須要有豐富的報(bào)告和審計(jì)功能，可以把調(diào)度系統(tǒng)里面所進(jìn)行的定義，運(yùn)行，或者監(jiān)控方面的事情做相應(yīng)的審計(jì)和報(bào)告。第四個(gè)是關(guān)聯(lián)業(yè)務(wù)服務(wù)管理。

我們來看一下BMC CONTROL—M具體的界面，這是一個(gè)實(shí)時(shí)運(yùn)行的作業(yè)流程圖。管理員可以實(shí)時(shí)看到運(yùn)行的情況，通過這一套系統(tǒng)實(shí)現(xiàn)了作業(yè)管理的集中化，自動化和可視化，整個(gè)作業(yè)的運(yùn)行，同時(shí)對作業(yè)的監(jiān)控也可以放在一個(gè)界面里面，我可以讓一個(gè)作業(yè)暫停，可以改變它的屬性；我可以看這個(gè)作業(yè)運(yùn)行的時(shí)候究竟有哪些系統(tǒng)輸出，我還可以看到它執(zhí)行的腳本里面有什么樣的內(nèi)容，并且編輯這些腳本，所以實(shí)現(xiàn)監(jiān)管控一體化作業(yè)調(diào)度的辦公室。除了對現(xiàn)在情況了解之外還可以知道過去，我過去是一個(gè)什么樣的情況，對歷史信息的收集。再一個(gè)從將來來看運(yùn)行的狀況是什么樣的，到月底的時(shí)候我哪些作業(yè)會跑，作業(yè)流的架構(gòu)是不是符合我的要求。另外我們整個(gè)作業(yè)定義的界面也支持文本導(dǎo)入的方式。最后我們對自己本身模塊的管理，可以在統(tǒng)一的平臺上把它給管理起來，在這里我們可以看到，我們自己有多少個(gè)服務(wù)器，有多少個(gè)代理，代理運(yùn)行的狀況怎么樣都一目了然。

接下來看一下CONTROL—M提供的自助服務(wù)。把業(yè)務(wù)當(dāng)前實(shí)際運(yùn)行的狀況提供給操作管理人員，可以通過Ipad等其他移動終端登入上來看運(yùn)作的情況，并且對作業(yè)進(jìn)行相應(yīng)的控制。下面再來看一下CONTROL—M實(shí)現(xiàn)云及虛擬化環(huán)境的動態(tài)作業(yè)管理。再來看一下CONTROL—M使云環(huán)境支持大規(guī)模批處理的流程。CONTROL—M會根據(jù)預(yù)定的模版向云計(jì)算生命周期管理的API發(fā)出請求，服務(wù)的策略引擎會根據(jù)需要部署這些云計(jì)算資源，接下來CONTROL—M在這些資源上支撐作業(yè)，如果在作業(yè)支撐過程中發(fā)現(xiàn)資源不夠，可以請求更多的資源。

對于作業(yè)調(diào)度系統(tǒng)在支持云計(jì)算前后究竟有哪些區(qū)別？比如早上在北京大家都著急去上班，路的資源是有限的，如果在特別擁堵的時(shí)候，就會發(fā)生限流的情況，在作業(yè)防范的時(shí)段并沒有辦法有效的提供全面服務(wù)等級的保障，只能說誰的優(yōu)先等級高我先滿足誰。在IT的環(huán)境方面可以根據(jù)業(yè)務(wù)的需要增加業(yè)務(wù)資源。第二，比較全面的滿足服務(wù)的優(yōu)先等級。第三，充分協(xié)調(diào)業(yè)務(wù)處理和系統(tǒng)運(yùn)維。第四，隨需使用和釋放資源。這里面究竟我們怎么來實(shí)現(xiàn)呢？云計(jì)算的概念非常廣，以后完全是一個(gè)云計(jì)算生命周期管理的概念，目前我們對于云計(jì)算的主流技術(shù)我們是怎么去支持呢？在我們需要資源的時(shí)候，我們會直接向bladelogic請求資源。從應(yīng)用層面來講，CONTROL—M可以和bladelogic進(jìn)行有效的集成，作業(yè)的依賴關(guān)系可以通過CONTROL—M統(tǒng)一進(jìn)行調(diào)度，在你升級的時(shí)候我就不發(fā)作業(yè)給你了，但是如果有很緊急的作業(yè)要跑的時(shí)候，我就不讓你去升級，或者把你的升級窗口往后延遲。我們可以看一下對bladelogic集成的界面，比如對服務(wù)器的審計(jì)，執(zhí)行完之后就可以直接看審計(jì)的結(jié)果。第二個(gè)方面，我們來看CONTROL—M與Vmware的集成，Vmware主要是幾種類型，第一種是啟動型的任務(wù)，比如我對客戶操作系統(tǒng)的重啟和關(guān)機(jī)。第二，配置型任務(wù)，我去克隆一個(gè)虛擬機(jī)，我根據(jù)模塊部署一個(gè)虛擬機(jī)，或者我對現(xiàn)在的虛擬機(jī)重新調(diào)整配置，再有就是我把當(dāng)前運(yùn)行在某一個(gè)硬件的虛擬機(jī)遷移到另外一個(gè)地方去。第三個(gè)方面任務(wù)是快照型任務(wù)，我可以攝制快照，恢復(fù)快照，刪除快照，刪除所有快照。對Vmware的集成可以根據(jù)規(guī)劃方案的需要，根據(jù)業(yè)務(wù)的需要啟動虛擬機(jī)，這樣我們就做到了綠色的IT，在我需要的時(shí)候把機(jī)器重啟，在不需要的時(shí)候關(guān)掉。最后我們來看一下CONTROL—M在整個(gè)Vmware環(huán)境里面，可以動態(tài)遷移Vmware的環(huán)境起來加入到集成環(huán)境里面來。

最后看一下主流的公共云Amazon EC2，公共云來講成本相對比較低，對資源使用也是比較好的節(jié)約方法，我們可以根據(jù)Amazon EC2進(jìn)行有效的結(jié)合，我們可以根據(jù)平均消費(fèi)群部署，或者隨需自動請求資源，調(diào)整資源，我們可以把EC2的資源釋放出去。如果你能根據(jù)需要自動起動，自動釋放對你來講成本的節(jié)約是不言而喻的結(jié)果。另外一個(gè)方面，我們可以根據(jù)預(yù)定的模版去創(chuàng)建新的Amazon實(shí)例。

CONTROL—M功能使其方便且現(xiàn)實(shí)。一個(gè)是無代理技術(shù)，告訴代理你要在這臺機(jī)器上執(zhí)行什么樣的作業(yè)，但是在云計(jì)算時(shí)代部署代理顯然不是特別現(xiàn)實(shí)，或者說操作難度比較大，我們可以用無代理技術(shù)，把新的虛擬機(jī)或者新的云計(jì)算資源建立起來之后，可以通過通道讓作業(yè)執(zhí)行在云計(jì)算資源上執(zhí)行。第二，CONTROL—M配置管理器可以把Vmware等帳號配置在我的管理系統(tǒng)當(dāng)中去，這樣在定義作業(yè)的時(shí)候，可以直接通過雙向集成把服務(wù)器自動化和虛擬機(jī)自動化或者云計(jì)算自動化的工作作為一個(gè)作業(yè)配置在CONTROL—M里面。第三方面就是內(nèi)置的腳本，我的作業(yè)不放在云計(jì)算資源上，而是把腳本放在調(diào)度系統(tǒng)里面去，當(dāng)我需要你執(zhí)行的時(shí)候，我把腳本傳遞給你讓你執(zhí)行。最后一個(gè)是動態(tài)節(jié)點(diǎn)組，我這個(gè)節(jié)點(diǎn)組由幾臺機(jī)器構(gòu)成，根據(jù)時(shí)間，業(yè)務(wù)的需要可以決定節(jié)點(diǎn)組把哪些節(jié)點(diǎn)退出去，把哪些節(jié)點(diǎn)加入進(jìn)來。

我們可以看出，CONTROL—M自動化平臺跟云計(jì)算虛擬化做了一個(gè)有效的集成，可以實(shí)現(xiàn)單一節(jié)點(diǎn)管理所有作業(yè)自動化的任務(wù)。第二，實(shí)現(xiàn)動態(tài)雙向安全連接，利用歷史信息，避免了手工出錯(cuò)的過程。第三，內(nèi)置集成市場領(lǐng)先的云計(jì)算和虛擬化技術(shù)。第四個(gè)方面是提供自動故障恢復(fù)機(jī)制。CONTROL—M有一個(gè)非常獨(dú)特的特點(diǎn)，每個(gè)作業(yè)執(zhí)行完之后會做事后分析判斷，根據(jù)分析判斷結(jié)果來決定你接下來要做什么動作，可以啟動某一個(gè)作業(yè)流，對目前的故障進(jìn)行自動化處理。最后一個(gè)是提供操作運(yùn)行角度透明性，對不管是在云計(jì)算資源上，還是在物理資源上，還是在虛擬化資源上統(tǒng)一調(diào)度分析和進(jìn)行管理。

BMC CONTROL—M關(guān)鍵成功因素在哪里呢？我們根據(jù)客戶使用過程中遇到的各種不同問題，不斷豐富，不斷更新我們的產(chǎn)品，這個(gè)產(chǎn)品的安全性，穩(wěn)定性和可靠性是作為基礎(chǔ)不斷被國外、國內(nèi)用戶去驗(yàn)證，比如國內(nèi)有多家用戶連續(xù)運(yùn)行多年，這個(gè)系統(tǒng)沒有產(chǎn)生因?yàn)橄到y(tǒng)軟件的問題停機(jī)，有相當(dāng)高的穩(wěn)定性。在拓展性，易用性和前瞻性方面也做得非常好。另外安全性，穩(wěn)定性，可靠性方面，做了具體細(xì)節(jié)的考慮，查找更新方面，版本管理方面，動態(tài)分支方面都有獨(dú)到的功能跟特點(diǎn)。前瞻性方面，CONTROL—M產(chǎn)品，每兩年做一個(gè)大的版本升級每一年做一個(gè)小的版本升級，這個(gè)過程之中始終是看著業(yè)界新的IT發(fā)展的趨勢，順應(yīng)IT發(fā)展的趨勢，比如剛才提到的云計(jì)算、虛擬化，移動化，同時(shí)也在作業(yè)調(diào)度的專業(yè)領(lǐng)域引導(dǎo)作業(yè)調(diào)度領(lǐng)域潮流，所以這是CONTROL—M成功的一個(gè)關(guān)鍵因素。CONTROL—M用戶遍布全球，包括銀行業(yè)用戶，證券類用戶還有制造類用戶使用CONTROL—M產(chǎn)品，去改善IT運(yùn)行的效率，實(shí)現(xiàn)IT運(yùn)行的簡約化，系統(tǒng)化跟智能化的過程。