“要么別人踩坑你過，要么你替別人踩坑!”

內容提綱：

• Why——為什么選擇虛擬化技術?
• What——虛擬化實施及虛擬化技術?
• How——如何部署虛擬化項目?

公有云選擇及運維Why——為什么選擇虛擬化?

圖：虛擬化能給企業帶來什么

首先需要想想為什么要虛擬化，虛擬化到底能帶給我們什么?歸根結底，虛擬化能給企業帶來兩個好處：

***個好處，節省成本。三四年前，我們曾經做過一款游戲，當時有一款游戲用了500多臺物理機，運營了兩年就收支平衡了，換句話說就是不賺錢了，后來我們按照(1：7)的比例去做虛擬化，將500多臺物理機壓縮到70多臺宿主機上面，成本大大節省，游戲又開始盈利了，又能生存下去了。這是通過虛擬化節省成本的一個案例。

第二個好處，快速部署。從宿主機層面看，虛擬機就是一個鏡像文件，要想增加一臺虛擬機，把這個鏡像文件復制一份就可實現，這個過程通常就幾分鐘，最多十幾分鐘，還有一些技術，比如插電鏡像技術，我們可以秒級地得到虛擬機。

圖：定戰略，說服老板和同事

確定使用虛擬化技術之后，就要面臨如何說服我們的老板和同事去使用虛擬化技術的問題了。

如何說服老板：畫餅、挖坑。

如何畫餅?比如我們有兩千臺服務器，即使按照(1：2)的比例去做，服務器數量立馬減半，這個效益非常明顯，一般老板都會支持的。但是，別忘了給老板挖個小坑，因為你做虛擬化項目過程中難免會碰到問題，這時候就需要老板的支持。所以要先跟老板說好，一旦出現問題一定要老板挺一下。

如何說服同事：樹立一個樣板。

怎么樣應對同事的質疑?就是樹立一個樣板，用事實說話。這就跟打仗一樣，比如說你的***仗能打勝，后面的工作會容易開展好多，所以應對同事的質疑***的方法就是樹立一個成功樣板。

What——虛擬化實施及虛擬化技術

如何選擇樣本項目?

圖：如何選擇潛力股

首先，要選擇一個潛力股。***在公司內部去找***以下四個特征的業務，作為***個虛擬化項目。

1.單進程，這是***潛力股。如果我們的業務是單進程的業務，就非常容易做虛擬化，因為現在的CPU都是多核的，單進程的業務非常容易通過虛擬化的技術進行整合。

2.利用率不高，比如常年CPU利用率都是10%、20%，基礎業務也非常容易整合。

3.頻繁變動的業務，拿游戲行業來說，手游頁游這種業務最愿意做虛擬化，因為通過虛擬化部署特點，可以解決它的痛點。

4.非核心業務，一開始我們盡量不要做核心業務，因為核心業務萬一出了問題，影響很大，萬一出了問題，壓力就比較大。其實，像那種壓力特別高的業務就不適合做虛擬化。

#p#

虛擬化項目實施周期

圖：虛擬化項目實施周期

一般來說，按照以下這個流程去實施就能夠保證比較穩定地將業務遷移到虛擬化環境。強調一點，做虛擬化的時候，尤其一開始一定要穩扎穩打，每一步都用數據說話，嚴格按照流程做。

1. 先做業務的性能需求評估，就是收集業務的壓力數據，提煉一個業務的壓力模型。
2. 根據壓力模型設計一個虛擬化方案，虛擬化方案主要是虛擬化的比例如何選擇、軟硬件如何選型等。
3. 搭建一個測試環境，首先進行系統方面的測試，然后進行業務方面的測試。業務方面的測試分為兩層，業務邏輯測試和業務壓力測試。
4. 小規模部署，一般是找壓力***的一組測兩周到四周。
5. 全面部署，如果小規模部署沒有問題就找壓力比較大的一組再去測兩周到四周。
6. 如果都沒問題，就可以按部就班逐漸地將業務遷移到虛擬化環境，直接進入虛擬化運維。

了解實施中要解決的問題

圖：實施中要解決的哪些問題

在實施過程中我們還要解決哪些問題?

1.穩定性。穩定性其實是一些技術方面的問題。

2.快速管理。穩定性解決好以后，我們可能會面臨的是想快速地得到一臺或者一批虛擬機，所以往往就需要一個管理平臺。

3.與業務緊密結合。管理平臺搞定之后，我們希望和其他的業務運維平臺對接起來，我們希望虛擬機開起來的時候，我們的業務程序也能在里邊，甚至一些業務配置也能跑起來。

4.要有一整套的監控、報警、應急響應預案。有問題早發現早解決。如果你遷移到虛擬化環境以后，將好多業務都放在宿主機上面，如果有一個宿主機故障，你的影響面要大很多。

軟硬件選型

圖：軟硬件選型

軟件方面，對于生產環境我們一般肯定要選擇穩定版本。但是，在穩定版本的基礎上，內存版本越高越好，為什么?這里有一個數據，數據時間比較長，同樣配置情況下CentOS 6.1和 CentOS 5.6的CPU計算能力的對比，CentOS 6.1要比CentOS 5.6好9%，就是內核版本越高，它的CPU中斷和上下文切換優化得越好，同時網絡IO、磁盤IO也優化得越好。

硬件方面，盡量一開始配置要稍微好一點，因為配置得越強悍，你可以虛擬的虛擬機越多，你最終肯定節省成本;另外，內存也要稍微大一點，因為你的宿主機跑上一段時間以后，往往你會發現內存不夠，到時候又要加內存。***，盡量選擇主流品牌。

圖：虛擬化引擎的對比

關于虛擬化引擎，目前常見的企業級的虛擬化引擎有四款：VMware、Hyper-V、Xen和KVM。

• VMware：最早是x86平臺上的虛擬化引擎，1998年就有了，所以它成熟穩定，兼容性也非常好。但是Vmware是個閉源方案，而且收費非常高，所以一般可能互聯網行業用得比較少一點。
• Hyper-V，微軟的Hyper-V發展非常迅速，尤其近幾年，但是Hyper-V也是個收費的閉源方案，所以一般純Windows環境下可能用得比較多一點。
• Xen，最早開源的虛擬化引擎，2003年就開源了，但是Xen的架構比較復雜，代碼就40多萬行。
• KVM，比較新的虛擬化引擎，有后發優勢，架構設計上比較簡單，內核一個模塊，只有2萬行代碼。我這里有個數據，2013年10月份openstack平臺上關于虛擬化引擎的一個選擇，這個其實是馬上快兩年的數據，當時KVM已經占到71% 的份額，現在基本上國內新一代的公有云基本上用的都是KVM。

#p#

圖：CPU技術選擇

關于CPU技術的選擇：

1. CPU綁定，這是非常實用的技術，而且是一個非常神奇的技術，可以在線做;

2. 在線添加，如果說你前邊壓力模型分析比較好的情況下，基本上你不會用到在線添加;

3. host-passthrough，一般單機的情況下可以考慮這種技術。或者如果沒有做遷移，但有一批機器的CPU品牌型號都一模一樣的，也可以考慮這種配置;

4. Nested，就是個玩具，實驗室里面PC上玩一玩。

圖：內存技術選擇

對于KSM，建議生產環境關閉，測試環境和桌面虛擬機推薦使用;對于內存氣球，相當于在虛擬機里放了一個氣球，你想讓虛擬機釋放內存，你就讓氣球膨脹，你想讓虛擬機有更高的內存，可以讓氣球收縮;對于內存限制，在一定范圍內使用內存，保證***內存使用量。

總體來說，建議在技術生產環境中，盡量不使用各種內存壓縮限制技術。

圖：網絡技術選擇

網絡方面要解決兩個問題：可管理性和性能。網絡技術生產環境選擇的建議如下：

• Virtio：一般推薦優先使用這個，因為它確實是一個性能非常好的解決方案;
• SRIOV網卡獨占：如果網絡壓力非常高或者對發包率有要求可以考慮使用這種方案;如果說不是壓力特別高的，用Virtio夠了，因為這個方案不支持在線遷移，而且要手動配置;
• 網卡多隊列：這在CentOS67剛推出來的時候測了一下，好像效果也不是太理想，因為這是個相對新的特性。
• Open vSwitch：如果在私有云的情況下一般是內部用，管理方面要求不是特別強烈的情況下可以不用;如果是公有云，現在一般都要用，因為公有云強調管理。

 

圖：磁盤技術選擇

關于磁盤技術生產環境選擇：

• 存儲方式，一般使用qcow2或者是IVM，因為這兩種方式有個共同的特點是可以動態擴容;
• 緩存方式，一般是單機的情況下我們使用writethrough，但是如果是集群的話，在需要遷移的情況下必須使用none;
• 磁盤驅動，一般是驅動Virtio，它跟網卡的Virtio不一樣，因為磁盤不管你在Windows還是Linux系統上，它的工作都非常穩定，從來沒有碰到過問題;
• SSD，如果你預算充足的話，那肯定就是純SSD，閉著眼睛就上了，但是如果你追求性價比，那可以考慮Flashcache這種方案。

How——如何部署虛擬化項目?

物理機轉虛擬機，適用于物理機的利用率非常低、軟件配置環境非常復雜的場景，主要有靜態和動態方式來完成這樣的轉換。

• 靜態方案，靜態的方案很簡單，物理機關機克隆，然后在虛擬機那邊還原，類似ghost的過程。一般推薦使用P2V這樣的工具，基本上把你做的過程完全自動化。
• 動態方案，在VMware以后用的都是動態方案。它有個軟件裝到物理機里面，物理機不關機，然后將物理機上面的文件拷到虛擬機里面，就可以跑起來。

宿主機監控

監控方面有幾個注意點：硬件方面，我們就使用帶外管理卡，因為現在的帶外管理卡非常完善了;CPU方面，我們建議每個核都要監控起來，還要設報警;內存方面，Swap要監控起來;磁盤網絡方面，在上線之前要做壓力測試，要得到一個極限數據，然后根據極限數據設置一個罰值。

 

災備實踐經驗

災備有兩種思路：1. 應用層災備，基本上跟原來物理機上一樣，你在物理機上怎么做災備，在虛擬機上用同樣的方法做災備;2. 虛擬化災備，做快照，做多份的鏡像復制。

一般建議在應用層次做災備，因為在應用層做災備消耗的資源要少很多。注意的是，災備要定期演練，一方面讓大家熟悉過程，再來驗證一下災備這個機制到底是不是生效。

#p#

公有云選擇

圖：公有云的選擇

關于共有云的選擇，往往你選擇公有云是因為市場因素，比如價格；第二個是口碑;第三個是網絡質量，但是大家往往容易忽略，我建議如果選公有云，對這一塊也要兼顧起來。

公有云能提供一些比如數據分析運維工具，包括我們去運維，工具豐富的平臺會更受運維喜歡。現在，公有云廠商也開始提供一些物理機支持，一些高壓力的業務可以考慮放到物理機上面。

公有云選擇好以后，我們在公有云上面如何運維，按照前面提到的流程進行，可以保證在公有云上面跑得比較穩定，而且底層的技術不用擔心了，所以一般中小企業可以考慮用公有云。

總結：

不論遷移前還是遷移完后，業務穩定是***位的，一定要選擇成熟的技術和比較好的預案，同時也一定要對業務比較熟悉，這樣你就知道如何根據壓力搭配，而且還可以知道優先保障的級別。

***，所有的一切就是兩個字——口碑，如果你的口碑做起來了，你在企業內部會越推越順，甚至你不推都有人來找你做虛擬化。相反，如果你的口碑沒做起來，你做的幾個項目都砸了，那基本上就沒人找你，你就做不下去了。

附：KVM學習資料，摘自《深度實踐KVM》。

1 官方資料

1)RedHat官網資料，虛擬化相關章節

https://access.redhat.com/site/documentation/Red_Hat_Enterprise_Linux/

2) Libvirt官網官方文檔

Libvirt是kvm虛擬化的管理工具，官方文檔非常詳細，鏈接如下：

http://www.libvirt.org/docs.html

3) guestfish官網官方文檔

guestfish 是一套kvm虛擬化的鏡像管理工具，可以對鏡像進行非常方便的管理，鏈接地址如下：

http://libguestfs.org

2 參考閱讀文檔

(1) KVM 官網文檔，鏈接為：

http://www.linux-kvm.org/page/Main_Page

(2) QEMU官網文檔，鏈接為：

http://www.qemu.org

3 KVM相關軟件的更新新特性發布頁面

Libvirt更新頁面鏈接：

http://www.libvirt.org/news.html

QEMU更新頁面鏈接：

http://wiki.qemu.org/Download

Fedora新版本特性鏈接：

https://fedoraproject.org/wiki/Features4 兩個非常不錯的網站

(1)虛擬機技術

http://virtualizationreview.com/home.aspx

(2) IBM developerworks虛擬化專題

http://www.ibm.com/developerworks/cn/linux/theme/virtualization/index.html

5 虛擬化管理軟件

PVE官網http://pve.proxmox.com

oVirt 官網http://www.ovirt.org 中國社區http://ovirt-china.org

http://cloudstack.apache.org

OpenStack官網 www.openstack.org 中國社區www.openstack.cn

Convirt 官網 www.convirture.com

Puppet虛擬化組件 https://github.com/carlasouza/puppet-virt