Kubernetes – Google分布式容器技術(shù)初體驗(yàn)
Kubernetes是Google開源的容器集群管理系統(tǒng)。前幾天寫的 分布式服務(wù)框架的4項(xiàng)特性中提到一個(gè)良好的分布式服務(wù)框架需要實(shí)現(xiàn)。
"服務(wù)的配置管理。包括服務(wù)發(fā)現(xiàn)、負(fù)載均衡及服務(wù)依賴管理。
服務(wù)之間的調(diào)度及生命周期管理。"
由于Kubernetes包含了上述部分特性，加上最近Google新推出的Container Engine也是基于Kubernetes基礎(chǔ)上實(shí)現(xiàn)，因此最近對(duì)Kubernetes進(jìn)行了一些嘗試與體驗(yàn)。
運(yùn)行環(huán)境
Kubernetes目前處于一個(gè)快速迭代的階段，同時(shí)它的相關(guān)生態(tài)圈（比如docker，etcd）也在快速發(fā)展，這也意味沒(méi)有適合新手使用非常順暢的版本，網(wǎng)上的各種文檔（也包括官方文檔）和當(dāng)前***的發(fā)布版會(huì)有不同程度滯后或不適用的情況，因此在使用時(shí)可能會(huì)碰到各種細(xì)節(jié)的障礙，而且這些新版本碰到的問(wèn)題，很有可能在網(wǎng)上也搜索不到解決方案。
Kubernetes設(shè)計(jì)上并未綁定Google Cloud平臺(tái)，但由于以上原因，為了減少不必要的障礙，初次嘗試建議使用GCE作為運(yùn)行環(huán)境（盡管GCE是一個(gè)需要收費(fèi)的環(huán)境）。默認(rèn)的cluster啟動(dòng)腳本會(huì)創(chuàng)建5個(gè)GCE instance，測(cè)試完需要自己及時(shí)主動(dòng)刪除。為了避免浪費(fèi)，可以將minions減少，同時(shí)instance類型選擇f1-micro。費(fèi)用方面一個(gè)f1-micro instance運(yùn)行1個(gè)月大約50元人民幣，因此用GCE來(lái)測(cè)試Kubernetes，如果僅是測(cè)試時(shí)候開啟的話，并不會(huì)產(chǎn)生太多費(fèi)用。
Pods及Replication Controller
Kubernetes的基本單元是pods，用來(lái)定義一組相關(guān)的container。Kubernetes的優(yōu)點(diǎn)是可以通過(guò)定義一個(gè)replicationController來(lái)將同一個(gè)模塊部署到任意多個(gè)容器中，并且由Kubernetes自動(dòng)管理。比如定義了一個(gè)apache pod，通過(guò)replicationController設(shè)置啟動(dòng)100個(gè)replicas，系統(tǒng)就會(huì)在pod創(chuàng)建后自動(dòng)在所有可用的minions中啟動(dòng)100個(gè)apache container。并且輕松的是，當(dāng)container或者是所在的服務(wù)器不可用時(shí)，Kubernetes會(huì)自動(dòng)通過(guò)啟動(dòng)新的container來(lái)保持100個(gè)總數(shù)不變，這樣管理一個(gè)大型系統(tǒng)變得輕松和簡(jiǎn)單。
Service 微服務(wù)
在解決部署問(wèn)題之后，分布式服務(wù)中存在的一大難題是服務(wù)發(fā)現(xiàn)（或者叫尋址），用戶訪問(wèn)的前端模塊需要訪問(wèn)系統(tǒng)內(nèi)部的后端資源或者其他各種內(nèi)部的服務(wù)，當(dāng)一個(gè)內(nèi)部服務(wù)通過(guò)replicationController動(dòng)態(tài)部署到不同的節(jié)點(diǎn)后，而且還存在前文提到的動(dòng)態(tài)切換的功能，前端應(yīng)用如何來(lái)發(fā)現(xiàn)并訪問(wèn)這些服務(wù)？Kubernetes的另外一個(gè)亮點(diǎn)功能就是service，service是一個(gè)pod服務(wù)池的代理抽象，目前的實(shí)現(xiàn)方法是通過(guò)一個(gè)固定的虛擬IP及端口來(lái)定義，并且通過(guò)分布在所有節(jié)點(diǎn)上的proxy來(lái)實(shí)現(xiàn)內(nèi)部服務(wù)對(duì)service的訪問(wèn)。
Kubernetes自身的配置是保存在一個(gè)etcd（類似ZooKeeper）的分布式配置服務(wù)中。服務(wù)發(fā)現(xiàn)為什么不通過(guò)etcd來(lái)實(shí)現(xiàn)？Tim的判斷更多的是為了Kubernetes上的系統(tǒng)和具體的配置服務(wù)解耦。由于服務(wù)發(fā)現(xiàn)屬于各個(gè)系統(tǒng)內(nèi)部的業(yè)務(wù)邏輯，因此如果使用etcd將會(huì)出現(xiàn)業(yè)務(wù)代碼的邏輯中耦合了etcd，這樣可能會(huì)讓很多架構(gòu)師望而卻步。
盡管沒(méi)有耦合etcd，部署在Kubernetes中的服務(wù)需要通過(guò)container中的環(huán)境變量來(lái)獲得service的地址。環(huán)境變量雖然簡(jiǎn)單，但它也存在很多弊端，如存在不方便動(dòng)態(tài)更改等問(wèn)題。另外service目前的實(shí)現(xiàn)是將虛擬IP通過(guò)iptables重定向到最終的pod上，作者也提到iptables定向的局限性，不適合作為大型服務(wù)（比如上千個(gè)內(nèi)部service一起運(yùn)作時(shí)）的實(shí)現(xiàn)。
由于service定位是系統(tǒng)內(nèi)部服務(wù)，因此默認(rèn)情況下虛擬IP無(wú)法對(duì)外提供服務(wù)，但Kubernetes當(dāng)前版本并沒(méi)直接提供暴露公網(wǎng)IP及端口的能力，需要借助云服務(wù)（比如GCE）的load balancer來(lái)實(shí)現(xiàn)。
小結(jié)
總的看來(lái)Kubernetes提供的能力非常令人激動(dòng)，pod、replicationController以及service的設(shè)計(jì)非常簡(jiǎn)單實(shí)用。但如果立即將服務(wù)遷移到Kubernetes，還需要面對(duì)易變的環(huán)境。另外盡管Kubernetes提供health check的機(jī)制，但service生產(chǎn)環(huán)境所需的苛刻的可用性還未得到充分的驗(yàn)證。Service發(fā)現(xiàn)盡管不跟Kubernetes的內(nèi)部實(shí)現(xiàn)解耦，但利用環(huán)境變量來(lái)實(shí)現(xiàn)復(fù)雜系統(tǒng)的服務(wù)發(fā)現(xiàn)也存在一些不足。
#p#
安裝說(shuō)明
Kubernetes cluster簡(jiǎn)單安裝說(shuō)明如下，需要嘗試的朋友可參考。
前提準(zhǔn)備
一個(gè)64 bit linux環(huán)境，***在墻外的，避免訪問(wèn)google cloud出現(xiàn)超時(shí)或reset等問(wèn)題；另外創(chuàng)建Google Cloud帳號(hào)，確保創(chuàng)建instances以及Cloud Storage功能可用；
安裝步驟
1. 安裝go語(yǔ)言環(huán)境（可選，如果需要編譯代碼則需要）
2. 安裝Google cloud sdk
$ curl https://sdk.cloud.google.com | bash
$ gcloud auth login
按提示完成授權(quán)及登錄
3. 安裝 etcd 二進(jìn)制版本(V0.4.6), 解壓后將其目錄加入PATH
4. 安裝 kubernetes***的relase binary版本（V0.5.1）
修改 cluster/gce/config-default.sh，主要是修改以下字段以便節(jié)約資源。
- MASTER_SIZE=f1-micro
- MINION_SIZE=f1-micro
- NUM_MINIONS=3
在kubernetes目錄運(yùn)行
$ cluster/kube-up.sh
執(zhí)行成功后會(huì)顯示 done
5. 測(cè)試pod
以上腳本啟動(dòng)了examples/monitoring 下面定義的service，如果嘗試啟動(dòng)其它自己的pods，比如啟動(dòng)一個(gè)tomcat集群
- {
- "id": "tomcatController",
- "kind": "ReplicationController",
- "apiVersion": "v1beta1",
- "desiredState": {
- "replicas": 2,
- "replicaSelector":{"name": "tomcatCluster"},
- "podTemplate":{
- "desiredState": {
- "manifest": {
- "version": "v1beta1",
- "id": "tomcat",
- "containers": [{
- "name": "tomcat",
- "image": "tutum/tomcat",
- "ports": [
- {"containerPort":8080,"hostPort":80}
- ]
- }]
- }
- },
- "labels": {"name": "tomcatCluster"}}
- },
- "labels": {
- "name": "tomcatCluster",
- }
- }
其中pod的tomcat image可以通過(guò)Docker Hub Registry https://registry.hub.docker.com/ 搜索及獲取
$ cluster/kubectl.sh create -f tomcat-pod.json
創(chuàng)建成功后通過(guò) cluster/kubectl.sh get pods 來(lái)查看它所在minion及ip，可以通過(guò)curl或?yàn)g覽器來(lái)訪問(wèn)（請(qǐng)開啟GCE防火墻端口設(shè)置）。
再定義一個(gè) service
- {
- "id": "tomcat",
- "kind": "Service",
- "apiVersion": "v1beta1",
- "port": 8080,
- "containerPort": 8080,
- "labels": {
- "name": "tomcatCluster"
- },
- "selector": {
- "name": "tomcatCluster"
- }
- }
保存為 tomcat-service.json
$ cluster/kubectl.sh create -f tomcat-service.json
檢查service啟動(dòng)后的ip及端口，由于service是內(nèi)部ip，可以在GCE上通過(guò)curl來(lái)測(cè)試及驗(yàn)證。
$ cluster/kubectl.sh get services
6. 關(guān)閉cluster
cluster/kube-down.sh
作者簡(jiǎn)介：楊衛(wèi)華（Tim Yang），新浪微博技術(shù)總監(jiān)，負(fù)責(zé)設(shè)計(jì)新浪微博基礎(chǔ)平臺(tái)架構(gòu)，解決新浪微博發(fā)展中遇到的各種技術(shù)瓶頸，并致力于打造業(yè)界***的開放平臺(tái)。業(yè)余關(guān)注新技術(shù)在互聯(lián)網(wǎng)系統(tǒng)中的應(yīng)用。
