DRBD+Heartbeat+Pacemaker實現MFS的高可用
前言：單點問題是單點故障（Single Point of Failure）造成系統失效的通俗說法。對于單點問題，我們解決的方案一般是采用冗余設備或者熱備，因為硬件的錯誤或者人為的原因，總是有可能造成單個或多個節點的失效，有時我們做節點的維護或者升級，也需要暫時停止某些節點，所以一個可靠的系統必須能承受單個或多個節點的停止。
我原本的架構是由DRBD和MooseFS所組成，DRBD實現了基于網絡的raid 1，HA和Pacemaker實現基于策略的故障轉移；而MooseFS由于設計了meta server，到目前為止還沒有做系統級冗余的計劃。但是，meta server并不能實時自動切換，所以，只有我們自己來設計了。這篇就是介紹如何設計實施故障的自動切換，以及故障排除后的自動恢復。
名詞定義
單點故障（Single Point of Failure）（引用來源）
引起產品故障的，且沒有冗余或替代的工作程序作為補救的局部故障。(GJB451-90)
單點失效是導致一項產品完成任務的性能不可逆轉地降低到合同規定水平以下的單一硬件失效或軟件差錯(產品發生單點失效的方式就是產品的單點失效模式)。(MIL-STD-1543B-88)
某產品的失效將導致系統的失效，且不能由貯備或代替的工作程序來補償。(MIL-STD-721C-81)
高可用
高可用（HA）有兩種不同的含義，在廣義環境中，是指整個系統的高可用（High Availability）性，在狹義方面，一般指主機的冗余接管，如主機HA，如果不特殊說明，本書中的HA都指廣義的高可用性。在高可用的解釋方面，可以分為如下一些方面：
（1）系統失敗或崩潰（System faults and crashes）
（2）應用層或者中間層錯誤（Application and middleware failures）
（3）網絡失敗（Network failures）
（4）介質失敗，一般指存放數據的媒體介質故障（Media failures）
（5）人為失誤（Human Error）
（6）分級與容災（Disasters and extended outages）
（7）計劃宕機與維護（Planned downtime, maintenance and management tasks）
以下為具體描述與實現步驟。
用途：
解決mfs master的單點問題，同樣可以作為其他需要高可用環境的標準配置方法
規劃：
使用drbd實現主備機的災容，Heartbeat做心跳監測，Pacemaker實現服務（資源）的切換及控制等
描述：
drbd雙主模式對網絡和配置要求比較高，在此結構下不采用；
drbd需要清空一個分區，并且不能格式化
可單獨由heartbeat實現服務的切換及failover；
需要ha項目中的其他組件，如GLUE和ResourceAgent。
軟件：
DRBD下載地址：http://oss.linbit.com/drbd/
DRBD 8.3.9: drbd-8.3.9.tar.gz
HA下載地址：http://www.linux-ha.org/wiki/Downloads
Heartbeat 3.0.4: Heartbeat-3-0-STABLE-3.0.4.tar.bz2
Cluster Glue 1.0.7: glue-1.0.7.tar.bz2
Resource Agents 1.0.3: agents-1.0.3.tar.bz2
Pacemaker 1.0.5: Pacemaker-1.0.5.tar.bz2
mfs下載：http://www.moosefs.org/index.php/download.html
moosefs 1.6.20: mfs-1.6.20-2.tar.gz
環境：
mfsmaster：192.168.1.1 mfsbackup：192.168.1.2 VIP：192.168.1.10
安裝：
設置hosts:
# vi /etc/hosts 192.168.1.1 mfs.master 192.168.1.2 mfs.backup
DRBD：
# wget http://oss.linbit.com/drbd/8.3/drbd-8.3.9.tar.gz # tar zxvf drbd-8.3.9.tar.gz # cd drbd-8.3.9 # ./configure --prefix=/usr/local/drbd --with-km # make && make install # vi /usr/local/drbd/etc/drbd.d/ global_common.conf syncer { # rate after al-extents use-rle cpu-mask verify-alg csums-alg rate 100M; } # vi /usr/local/drbd/etc/drbd.d/ mfs.res resource mfs { device /dev/drbd0; disk /dev/lvm/mfsdata; meta-disk internal; on mfs.master { address 192.168.1.1:7789; } on mfs.backup { address 192.168.1.2:7789; } } # cp /usr/local/drbd/etc/rc.d/init. d/drbd /etc/init.d/ # insmod /lib/modules/2.6.18-8.el5/ kernel/drivers/block/drbd.ko # modprobe drbd # chkconfig --add drbd # chkconfig --level 35 drbd on # service drbd start # drbdadm create-md all # mkfs.ext3 /dev/drbd0 # vi /etc/fstab /dev/drbd0 /mfsmeta ext3 defaults,noatime,nodiratime 0 0
以上主備機同樣的配置，查看同步狀態：
# cat /proc/drbd GIT-hash: 1c3b2f71137171c1236b497969734da43b5bec90 build by root@mfs.master, 2010-12-20 19:19:37 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r----- ns:89190240 nr:613604 dw:89803844 dr:620461 al:45275 bm:5 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
在主機上執行：
# drbdsetup /dev/drbd0 primary -o # mount /mfsmeta
至此drbd安裝完成，可以根據文檔，做一些測試。
MFS：
# wget http://pro.hit.gemius.pl/
設置臨時hosts，測試mfs啟動：
# vi /etc/hosts 192.168.1.1 mfsmaster # /usr/local/mfs/sbin/mfsmaster start
mfs master安裝完成，
HA：
配置：
# export PREFIX=/usr # export LCRSODIR=$PREFIX/libexec/lcrso # export CLUSTER_USER=hacluster # export CLUSTER_GROUP=haclient # getent group ${CLUSTER_GROUP} >/dev/null || groupadd -r ${CLUSTER_GROUP} # getent passwd ${CLUSTER_USER} >/dev/null || useradd -r -g ${CLUSTER_GROUP} -d /var/lib/heartbeat/cores/hacluster -s /sbin/nologin -c "cluster user" ${CLUSTER_USER}
GLUE：
# wget -O cluster-glue.tar.bz2 http://hg.linux-ha.org/glue/archive/tip. tar.bz2 # tar jxvf cluster-glue.tar.bz2 # cd Reusable-Cluster-Components-* # ./autogen.sh && ./configure --prefix=$PREFIX --with-daemon-user=${CLUSTER_ USER} --with-daemon-group=${CLUSTER_ GROUP} # make # make install
Resource Agent：
# wget -O resource-agents.tar.bz2 http://hg.linux-ha.org/agents/ archive/tip.tar.bz2 # tar jxvf resource-agents.tar.bz2 # cd Cluster-Resource-Agents-* # ./autogen.sh && ./configure --prefix=$PREFIX # make # make install
Heartbeat：
# wget -O heartbeat.tar.bz2 http://hg.linux-ha.org/dev/archive/tip. tar.bz2 # tar jxvf heartbeat.tar.bz2 # cd Heartbeat-* # ./bootstrap && ./configure --prefix=$PREFIX # make # make install # cp doc/ha.cf $PREFIX/etc/ha.d/ # cp doc/authkeys $PREFIX/etc/ha.d/ # chmod 0600 $PREFIX/etc/ha.d/authkeys
配置heartbeat：
# vi $PREFIX/etc/ha.d/ha.cf debugfile /opt/logs/heartbeat/ha-debug logfile /opt/logs/heartbeat/ha-log logfacility local0 keepalive 2 deadtime 30 warntime 10 initdead 120 udpport 694 ucast eth0 192.168.1.2 auto_failback on ping 192.168.1.254 respawn hacluster /usr/lib64/heartbeat/ipfail crm on # service heartbeat start
具體配置說明請參考文檔。
Pacemaker：
# wget -O pacemaker.tar.bz2 http://hg.clusterlabs.org/pacemaker/ stable-1.0/archive/tip.tar.bz2 # tar jxvf pacemaker.tar.bz2 # cd Pacemaker-1-0-* # ./autogen.sh && ./configure --prefix=$PREFIX --with-lcrso-dir=$LCRSODIR # make # make install # ldconfig -v # crm crm(live)# configure node mfs.master crm(live)# configure node mfs.backup crm(live)# configure primitive mfsmaster_drbd ocf:linbit:drbd params drbd_resource="mfs" drbdconf="/usr/local/drbd/etc/ drbd.conf" meta migration-threshold="10"
crm(live)# configure monitor mfsmaster_drbd 30s:20s
crm(live)# configure primitive mfsmaster_fs ocf:heartbeat:Filesystem params device="/dev/drbd0" directory="/mfsmeta" fstype="ext3"
crm(live)# configure primitive mfsmaster_vip ocf:heartbeat:IPaddr2 params ip="192.168.1.10" nic="eth0:0"
crm(live)# configure primitive mfsmaster lsb:mfsmaster
crm(live)# configure monitor mfsmaster 30s:30s
crm(live)# configure group mfsmaster_group mfsmaster_vip mfsmaster_fs mfsmaster
crm(live)# configure ms mfsmaster_drbd_ms mfsmaster_drbd meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
crm(live)# configure colocation mfsmaster_colo inf: mfsmaster_group mfsmaster_drbd_ms:Master
crm(live)# configure order mfsmaster_order inf: mfsmaster_drbd_ms:promote mfsmaster_group:start
crm(live)# configure property $id="cib-bootstrap-options" expected-quorum-votes="2" stonith-enabled="false" no-quorum-policy="ignore" start-failure-is-fatal="false"
crm(live)# configure commit
crm(live)# quit
設置VIP為mfsmaster：
# vi /etc/hosts 192.168.1.10 mfsmaster
可以使用crm_mon查看資源狀態，如果正常應該是類似：
# crm_mon ============ Last updated: Sun Jan 23 14:01:53 2011 Stack: Heartbeat Current DC: mfs.backup (985860ea-ae2b-4490-b7e9-19f902321358) - partition with quorum Version: 1.0.10- b0266dd5ffa9c51377c68b1f29d6bc 84367f51dd 2 Nodes configured, 2 expected votes 2 Resources configured. ============ Online: [ mfs.master mfs.backup ] Resource Group: mfsmaster_group mfsmaster_vip (ocf::heartbeat:IPaddr2): Started mfs.master mfsmaster_fs (ocf::heartbeat:Filesystem): Started mfs.master mfsmaster (lsb:mfsmaster): Started mfs.master Master/Slave Set: mfsmaster_drbd_ms Masters: [ mfs.master ] Slaves: [ mfs.backup ]
至此，mfs的高可用環境搭建完成，可以使用crm node stndby和crm node online進行資源測試。
原文：http://hi.baidu.com/leolance/blog/item/7ac035205870f020c9955905.html
【編輯推薦】
