CentOS 7下搭建高可用集群
本文以兩臺機器實現(xiàn)雙集熱備高可用集群，主機名node1的IP為192.168.122.168 ，主機名node2的IP為192.168.122.169 。
一、安裝集群軟件
必須軟件pcs，pacemaker，corosync，fence-agents-all，如果需要配置相關(guān)服務(wù)，也要安裝對應(yīng)的軟件
二、配置防火墻
1、禁止防火墻和selinux
- # systemctl disable firewalld
- # systemctl stop firewalld
修改/etc/sysconfig/selinux確保SELINUX=disabled，然后執(zhí)行setenforce 0或者reboot服務(wù)器以生效
2、設(shè)置防火墻規(guī)則
- # firewall-cmd --permanent --add-service=high-availability
- # firewall-cmd --add-service=high-availability
三、各節(jié)點之間主機名互相解析
分別修改2臺主機名分別為node1和node2，在centos 7中直接修改/etc/hostname加入本機主機名和主機表，然后重啟網(wǎng)絡(luò)服務(wù)即可。
- #vi /etc/hostname
- node1
- #systemctl restart network.service
- #hostname
- node1
配置2臺主機的主機表，在/etc/hosts中加入
- 192.168.122.168 node1
- 192.168.122.169 node2
四、各節(jié)點之間時間同步
在node1和node2分別進行時間同步，可以使用ntp實現(xiàn)。
- [root@node1 ~]# ntpdate 172.16.0.1 //172.16.0.1 為時間服務(wù)器
五、各節(jié)點之間配置ssh的無密碼密鑰訪問。
下面的操作需要在各個節(jié)點上操作。
- # ssh-keygen -t rsa -P ‘’ #這個生成一個密碼為空的公鑰和一個密鑰，把公鑰復(fù)制到對方節(jié)點上即可
- # ssh-copy-id -i /root/.ssh/id_rsa.pub root@node2 #對方主機名用登錄用戶名
兩臺主機都要互相可以通信，所以兩臺主機都得互相生成密鑰和復(fù)制公鑰，相互的節(jié)點上的hosts文件是都要解析對方的主機名， 192.168.122.168 node1 192.168.122.169 node2
- # ssh node2 ‘date’;date #測試一下是否已經(jīng)互信
六、通過pacemaker來管理高可用集群
1、創(chuàng)建集群用戶
為了有利于各節(jié)點之間通信和配置集群，在每個節(jié)點上創(chuàng)建一個hacluster的用戶，各個節(jié)點上的密碼必須是同一個。
- # passwd hacluster
- Changing password for user hacluster.
- New password:
- Retype new password:
- passwd: all authentication tokens updated successfully.
2、設(shè)置pcsd開機自啟動
- # systemctl start pcsd.service
- # systemctl enable pcsd.service
3、集群各節(jié)點之間進行認證
- # pcs cluster auth node1 node2Username: hacluster Password: node1: Authorized node2: Authorized
4、創(chuàng)建并啟動集群
- [root@z1 ~]# pcs cluster setup --start --name my_cluster node1 node2
- node1: Succeeded
- node1: Starting Cluster...
- node2: Succeeded
- node2: Starting Cluster...
5、設(shè)置集群自啟動
- # pcs cluster enable –all
6、查看集群狀態(tài)信息
- [root@z1 ~]# pcs cluster status
7、設(shè)置fence設(shè)備
這個可以參考<Red Hat Enterprise Linux 7 High Availability Add-On Reference>
corosync默認啟用了stonith，而當前集群并沒有相應(yīng)的stonith設(shè)備，因此此默 認配置目前尚不可用，這可以通過如下命令驗證：
- #crm_verify -L -V
可以通過如下面命令禁用stonith：
- #pcs property set stonith-enabled=false（默認是true）
8、配置存儲
高可用集群既可以使用本地磁盤來構(gòu)建純軟件的鏡像型集群系統(tǒng)，也可以使用專門的共享磁盤裝置來構(gòu)建大規(guī)模的共享磁盤型集群系統(tǒng)，充分滿足客戶的不同需求。
共享磁盤主要有iscsi或DBRD。本文并沒有使用共享磁盤。
9、配置浮點IP
不管集群服務(wù)在哪運行,我們要一個固定的地址來提供服務(wù)。在這里我選擇192.168.122.101作為浮動IP,給它取一個好記的名字 ClusterIP 并且告訴集群 每30秒檢查它一次。
- # pcs resource create VIP ocf:heartbeat:IPaddr2 ip=192.168.122.170 cidr_netmask=24 op monitor interval=30s
- # pcs update VIP op monitor interval=15s
10、配置apache服務(wù)
在node1和node2上安裝httpd ，確認httpd開機被禁用
- # systemctl status httpd.service；
配置httpd監(jiān)控頁面（貌似不配置也可以通過systemd監(jiān)控），分別在node1和node2上執(zhí)行
- # cat > /etc/httpd/conf.d/status.conf << EOF
- SetHandler server-status
- Order deny,allow
- Deny from all
- Allow from localhost
- EOF
首先我們?yōu)?/span>Apache創(chuàng)建一個主頁。在centos上面默認的Apache docroot是/var/www/html,所以我們在這個目錄下面建立一個主頁。
node1節(jié)點修改如下：
- [root@node1 ~]# cat <<-END >/var/www/html/index.html
- <html>
- <body>Hello node1</body>
- </html>
- END
node2節(jié)點修改如下：
- [root@node2 ~]# cat <<-END >/var/www/html/index.html
- <html>
- <body>Hello node2</body>
- </html>
- END
下面語句是將httpd作為資源添加到集群中：
- #pcs resource create WEB apache configfile="/etc/httpd/conf/httpd.conf" statusurl="http://127.0.0.1/server-status"
11、創(chuàng)建group
將VIP和WEB resource捆綁到這個group中，使之作為一個整體在集群中切換。（此配置為可選)
- # pcs resource group add MyGroup VIP
- # pcs resource group add MyGroup WEB
12、配置服務(wù)啟動順序
以避免出現(xiàn)資源沖突，語法：(pcs resource group add的時候也可以根據(jù)加的順序依次啟動，此配置為可選)
- # pcs constraint order [action] then [action]
- # pcs constraint order start VIP then start WEB
13、指定優(yōu)先的 Location （此配置為可選)
Pacemaker 并不要求你機器的硬件配置是相同的,可能某些機器比另外的機器配置要好。這種狀況下我們會希望設(shè)置:當某個節(jié)點可用時,資源就要跑在上面之類的規(guī)則。為了達到這個效果我們創(chuàng)建location約束。同樣的,我們給他取一個描述性的名字(prefer-node1),指明我們想在上面跑WEB 這個服務(wù),多想在上面跑(我們現(xiàn)在指定分值為50,但是在雙節(jié)點的集群狀態(tài)下,任何大于0的值都可以達到想要的效果),以及目標節(jié)點的名字:
- # pcs constraint location WEB prefers node1=50
- # pcs constraint location WEB prefers node2=45
這里指定分值越大，代表越想在對應(yīng)的節(jié)點上運行。
14、資源粘性（此配置為可選)
一些環(huán)境中會要求盡量避免資源在節(jié)點之間遷移。遷移資源通常意味著一段時間內(nèi)無法提供服務(wù)，某些復(fù)雜的服務(wù)，比如Oracle數(shù)據(jù)庫，這個時間可能會很長。
為了達到這個效果，Pacemaker 有一個叫做“資源粘性值”的概念，它能夠控制一個服務(wù)(資源)有多想呆在它正在運行的節(jié)點上。
Pacemaker為了達到***分布各個資源的目的，默認設(shè)置這個值為0。我們可以為每個資源定義不同的粘性值，但一般來說，更改默認粘性值就夠了。資源粘性表示資源是否傾向于留在當前節(jié)點，如果為正整數(shù)，表示傾向，負數(shù)則會離開，-inf表示負無窮，inf表示正無窮。
- # pcs resource defaults resource-stickiness=100
常用命令匯總：
查看集群狀態(tài)：#pcs status
查看集群當前配置：#pcs config
開機后集群自啟動：#pcs cluster enable –all
啟動集群：#pcs cluster start –all
查看集群資源狀態(tài)：#pcs resource show
驗證集群配置情況：#crm_verify -L -V
測試資源配置：#pcs resource debug-start resource
設(shè)置節(jié)點為備用狀態(tài)：#pcs cluster standby node1
