企業級WEB的負載均衡高可用之LVS+Keepalived
原創【51CTO.com獨家特稿】前言：
①如果四臺機器均置于IDC機房，前端無防火墻時，這種情況好處理，只需要向你的IDC申請5個公網IP即可，多余的一個公網ip用于VIP；
②如果是上述網絡拓撲，后面四臺機器均用內網；此時只需要前面的Juniper將內網VIP映射成公網IP即可，注：非映射80和443端口，感謝田逸兄提供的技術性指導意見；
③lvs就比較依賴于網絡環境，可以用苛求來形容；要做好LVS管理員，確實得跟進學習很多有關網絡通信方面的知識，就不再是一個HTTP那么簡單了；相對而言，nginx對網絡的依賴較小，理論上只要ping得通，網頁訪問正常，nginx就能連得通。
④本來我想將公司的web環境生級成LVS+Keepalived架構，卻發現lvs怎么都不能轉發；結果查了下機器的route情況，發現每臺機器都有十幾條靜態路由，二個網關，而Network engineer也說明了網絡環境不可能更改，只能由系統環境牽就網絡環境；最后只能將LVS+Keepalvied更改為Nginx+Keepalived架構，甚是遺憾。
這里首先說下LVS/DR的網絡拓撲情況，如果均置于電信IDC機房，用5個外網IP的話，整個網絡拓撲清晰明了，實施起來也非常方便；但如果是置于Juniper防火墻后，情況就有點小復雜了，這時仍可用內網IP，只要將內網的VIP通過Juniper防火墻轉換成一個公網IP即可，注：此時不要做80端口的映射，在這里感謝田逸兄的指導性意見。
服務器故障：(服務器故障包括：服務器宕機、web服務終止、網線松動等等)
①當lvs-master故障時，無法再接受用戶請求并將請求轉發給真實的web服務器(即便真實web服務器正常)從而導致整個web服務的癱瘓，也就是lvs控制器存在單點故障問題。
②當lvs-master正常時，真實地web服務器如web1-realserver故障。此時lvs-master并不知道真實服務器是否在正常提供web服務，所以仍然在向故障的web1-realserver轉發用戶請求。這樣的結果是用戶請求無法被故障web服務器相應，某些用戶可以訪問網站有些則無法訪問。
基于以上的問題，我們需要想辦法實現對lvs控制器和web服務器的健康監測,一旦服務出現問題能保證服務不中斷的情況下排除故障。即增加lvs控制器實現主備模式避免單點故障以及自動刪除故障web服務結點并當它恢復后再自動添加到群集中這樣的功能，這就是LVS+keepalived能實現的功能。整個系統的拓撲如下：
實施步驟：
①在realserver主機上實行腳本realserver,為lo:0綁定VIP地址192.168.5.188，這步分別在二個web主機上192.168.5.104、192.168.5.105實施。這步提前做，是因為以后的過程中這一步是不會發生更改的。
- #vim /usr/local/sbin/realserver
- #!/bin/bash
- SNS_VIP=192.168.5.188
- . /etc/rc.d/init.d/functions
- case "$1" in
- start)
- ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP
- /sbin/route add -host $SNS_VIP dev lo:0
- echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
- echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
- echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
- echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
- sysctl -p >/dev/null 2>&1
- echo "RealServer Start OK"
- ;;
- stop)
- ifconfig lo:0 down
- route del $SNS_VIP >/dev/null 2>&1
- echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
- echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
- echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
- echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
- echo "RealServer Stoped"
- ;;
- *)
- echo "Usage: $0 {start|stop}"
- exit 1
- esac
- exit 0
簡單說明下上述腳本的作用：
1)vip(virtual ip)。直接路由模式的vip必須跟服務器對外提供服務的ip地址在同一個網段，并且lvs 負載均衡器和其他所有提供相同功能的服務器都使用這個vip;
2)vip被綁定在環回接口lo0:0上，其廣播地址是其本身，子網掩碼是255.255.255.255。這與標準的網絡地址設置有很大的不同。采用這種可變長掩碼方式把網段劃分成只含一個主機地址的目的是避免ip地址沖突;
3)echo這段的作用是抑制arp廣播。如果不做arp抑制，將會有眾多的機器向其他宣稱：“嗨！我是奧巴馬，我在這里呢！”，這樣就亂套了。
②為二臺lvs主機安裝lvs+keepalived軟件。安裝lvs軟件是必須做的，因為keepalived是運行在lvs之上的，因此lvs及keepalived必須裝在一個系統里面。過程如下：
- #mkdir /usr/local/src/lvs
- #cd /usr/local/src/lvs
- #wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
- #ln -s /usr/src/kernels/2.6.18-53.el5PAE-i686/ /usr/src/linux
- #tar zxvf ipvsadm-1.24.tar.gz
- #cd ipvsadm-1.24
- #make
- #make install
#p#③編輯keepalived.conf文件，直接用keepalived實現負載均衡及高可用性。
a)Keepalved的安裝
- a)Keepalved的安裝
- #wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz
- #tar zxvf keepalived-1.1.15.tar.gz
- #cd keepalived-1.1.15
- #./configure
- #make
- #make install
將keepalived做成啟動腳務，方便管理:
- #cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
- #cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
- #mkdir /etc/keepalived
- #cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
- #cp /usr/local/sbin/keepalived /usr/sbin/
- #service keepalived start|stop
b)Keealived的配置
①分別在主從負載均衡服務器上配置keepalived.conf ，內容分別如下:
- ! Configuration File for keepalived
- global_defs {
- notification_email {
- yuhongchun027@163.com
- }
- notification_email_from sns-lvs@gmail.com
- smtp_server 127.0.0.1
- router_id LVS_DEVEL
- }
- vrrp_instance VI_1 {
- state MASTER
- interface eth0
- virtual_router_id 51
- priority 100
- advert_int 1
- authentication {
- auth_type PASS
- auth_pass 1111
- }
- virtual_ipaddress {
- 192.168.5.188
- }
- }
- virtual_server 192.168.5.188 80 {
- delay_loop 6
- lb_algo wrr
- lb_kind DR
- persistence_timeout 60
- protocol TCP
- real_server 192.168.5.104 80 {
- weight 3
- TCP_CHECK {
- connect_timeout 10
- nb_get_retry 3
- delay_before_retry 3
- connect_port 80
- }
- }
- real_server 192.168.5.105 80 {
- weight 3
- TCP_CHECK {
- connect_timeout 10
- nb_get_retry 3
- delay_before_retry 3
- connect_port 80
- }
- }
- }
- ! Configuration File for keepalived
- global_defs {
- notification_email {
- yuhongchun027@163.com
- }
- notification_email_from sns-lvs@gmail.com
- smtp_server 127.0.0.1
- router_id LVS_DEVEL
- }
- vrrp_instance VI_1 {
- state BACKUP
- interface eth0
- virtual_router_id 51
- priority 99
- advert_int 1
- authentication {
- auth_type PASS
- auth_pass 1111
- }
- virtual_ipaddress {
- 192.168.5.188
- }
- }
- virtual_server 192.168.5.188 80 {
- delay_loop 6
- lb_algo wrr
- lb_kind DR
- persistence_timeout 60
- protocol TCP
- real_server 192.168.5.104 80 {
- weight 3
- TCP_CHECK {
- connect_timeout 10
- nb_get_retry 3
- delay_before_retry 3
- connect_port 80
- }
- }
- real_server 192.168.5.105 80 {
- weight 3
- TCP_CHECK {
- connect_timeout 10
- nb_get_retry 3
- delay_before_retry 3
- connect_port 80
- }
- }
- }
#p#②分別在二臺lvs機上啟動servcie keepalived start就可實現負載均衡及高可用集群；keepalived.conf內容說明如下:
●全局定義塊
1、email通知。作用：有故障，發郵件報警。
2、Lvs負載均衡器標識（lvs_id）。在一個網絡內，它應該是唯一的。
3、花括號“{}”。用來分隔定義塊，因此必須成對出現。如果寫漏了，keepalived運行時，不會得到預期的結果。由于定義塊內存在嵌套關系，因此很容易遺漏結尾處的花括號，這點要特別注意。
●VRRP定義塊
1、同步vrrp組vrrp_sync_group。作用：確定失敗切換（FailOver）包含的路由實例個數。即在有2個負載均衡器的場景，一旦某個負載均衡器失效，需要自動切換到另外一個負載均衡器的實例是哪些？
2、實例組group。至少包含一個vrrp實例。
3、Vrrp實例vrrp_instance。實例名出自實例組group所包含的那些名字。
(1)實例狀態state。只有MASTER和BACKUP兩種狀態，并且需要大寫這些單詞。其中MASTER為工作狀態，BACKUP為備用狀態。當MASTER所在的服務器失效時，BACKUP所在的系統會自動把它的狀態有BACKUP變換成MASTER；當失效的MASTER所在的系統恢復時，BACKUP從MASTER恢復到BACKUP狀態。
(2)通信接口interface。對外提供服務的網絡接口，如eth0,eth1.當前主流的服務器都有2個或2個以上的接口，在選擇服務接口時，一定要核實清楚。
(3)lvs_sync_daemon_inteface。負載均衡器之間的監控接口，類似于HA HeartBeat的心跳線。但它的機制優于Heartbeat，因為它沒有“裂腦”這個問題，它是以優先級這個機制來規避這個麻煩的。在DR模式中，lvs_sync_daemon_inteface 與服務接口interface 使用同一個網絡接口。
(4)虛擬路由標識virtual_router_id。這個標識是一個數字，并且同一個vrrp實例使用唯一的標識。即同一個vrrp_stance，MASTER和BACKUP的virtual_router_id是一致的，同時在整個vrrp內是唯一的。
(5)優先級priority。這是一個數字，數值愈大，優先級越高。在同一個vrrp_instance里，MASTER 的優先級高于BACKUP。若MASTER的priority值為150，那么BACKUP的priority只能是140或更小的數值。
(6)同步通知間隔advert_int。MASTER與BACKUP負載均衡器之間同步檢查的時間間隔，單位為秒。
(7)驗證authentication。包含驗證類型和驗證密碼。類型主要有PASS、AH兩種，通常使用的類型為PASS，據說AH使用時有問題。驗證密碼為明文，同一vrrp實例MASTER與BACKUP 使用相同的密碼才能正常通信。
4、 虛擬ip地址virtual_ipaddress。可以有多個地址，每個地址占一行，不需要指定子網掩碼。注意：這個ip必須與我們在lvs客戶端設定的vip相一致！
●虛擬服務器virtual_server定義塊
虛擬服務器定義是keepalived框架最重要的項目了，是keepalived.conf必不可少的部分。
1、虛擬服務器virtual_server。這個ip來自于vrrp定義塊的第“4”步，后面一個空格，然后加上端口號。定義一個vip，可以實現多個tcp端口的負載均衡功能。
(1)delay_loop。健康檢查時間間隔，單位是秒。
(2)lb_algo。負載均衡調度算法，互聯網應用常使用wlc或rr。
(3)lb_kind。負載均衡轉發規則。一般包括DR、NAT、TUN3種，在我的方案中，都使用DR的方式。
(4)persistence_timeout。會話保持時間，單位是秒。這個選項對動態網站很有用處：當用戶從遠程用帳號進行登陸網站時，有了這個會話保持功能，就能把用戶的請求轉發給同一個應用服務器。在這里，我們來做一個假設，假定現在有一個lvs 環境，使用DR轉發模式，真實服務器有3個，負載均衡器不啟用會話保持功能。當用戶第一次訪問的時候，他的訪問請求被負載均衡器轉給某個真實服務器，這樣他看到一個登陸頁面，第一次訪問完畢；接著他在登陸框填寫用戶名和密碼，然后提交；這時候，問題就可能出現了---登陸不能成功。因為沒有會話保持，負載均衡器可能會把第2次的請求轉發到其他的服務器。
(5)轉發協議protocol。一般有tcp和udp兩種。實話說，我還沒嘗試過udp協議類的轉發。
2、真實服務器real_server，也即服務器池。Real_server的值包括ip地址和端口號，多個連續的真實ip。
(1)權重weight，權重值是一個數字，數值越大，權重越高。使用不同的權重值的目的在于為不同性能的機器分配不同的負載，性能較好的機器，負載分擔大些；反之，性能差的機器，則分擔較少的負載，這樣就可以合理的利用不同性能的機器資源。
(2)Tcp檢查tcp_check。
附注：以上就是lvs+keepalived的基本配置步驟，有興趣的同學建議可做下lvs的1+2的基本架構實驗，即不需要keepalived，采用單lvs的方式，其lvs_dr腳本如下
- #vim /usr/local/sbin/lvs-dr.sh
- #!/bin/bash
- #website director vip.
- SNS_VIP=192.168.1.188
- SNS_RIP1=192.168.1.104
- SNS_RIP2=192.168.1.105
- ./etc/rc.d/init.d/functions
- logger $0 called with $1
- case "$1" in
- start)
- # set squid vip
- /sbin/ipvsadm --set 30 5 60
- /sbin/ifconfig eth0:0 $SNS_VIP broadcast $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP up
- /sbin/route add -host $SNS_VIP dev eth0:0
- /sbin/ipvsadm -A -t $SNS_VIP:80 -s wrr -p 3
- /sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP1:80 -g -w 1
- /sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP2:80 -g -w 1
- touch /var/lock/subsys/ipvsadm >/dev/null 2>&1
- ;;
- stop)
- /sbin/ipvsadm -C
- /sbin/ipvsadm -Z
- ifconfig eth0:0 down
- route del $SNS_VIP
- rm -rf /var/lock/subsys/ipvsadm >/dev/null 2>&1
- echo "ipvsadm stoped"
- ;;
- status)
- if [ ! -e /var/lock/subsys/ipvsadm ];then
- echo "ipvsadm stoped"
- exit 1
- else
- echo "ipvsadm OK"
- fi
- ;;
- *)
- echo "Usage: $0 {start|stop|status}"
- exit 1
- esac
- exit 0
最新版更新內容如下：
①每臺服務器都有二塊網卡，分別連接內外網；后端的mysql數據庫與web連接采用內網方式，整個網絡環境采用內網；
②增加了keepalivedyiyyy .conf語法內容；
③刪除了lvs.sh腳本內容，直接讓keepalived內容更直接明了，新增加了單lvs的配置腳本lvs_dr.sh；
④lvs主從機上的keepalived.conf文件我直接從生產服務器上download下來了，可方便大家使用。
部分內容參考了田逸和netseek的文章，如果有任何疑問和咨詢，歡迎來郵撫琴煮酒yuhongchun027@163.com #p#
※值得注意的是：
1、你必須向你的服務器所在機房IDC多申請一個IP供VIP使用；多關注/var/log/messages和ipvsadm -ln，利用其有效信息排錯。
2、服務器的iptables、Selinux均關閉；在生產環境中，我就遇到了iptables的NAT轉發問題，導致了lvs失敗。
3、keepalived的啟動過程并不會對配置文件進行語法檢查，就算沒有配置文件，keepalived的守護進程照樣能夠被運行起來。在默認狀態下，即不指定配置文件的位置--keepalived先查找文件/etc/keepalived/keepalived.conf。
4、session的過程默認是以文件的形式存在，在瀏覽器關閉或重啟時刪除；會話保持我建議寫成120秒，如果這個值設置得不合理，用戶將得到非常糟糕的訪問效果。
5、keepalived是lvs的擴展項目，因此它們之間具備良好的兼容性，這點應該是keepalived部署比其他類似工具能更簡潔的原因吧，lvs+keepalived目前是一個應用于生產環境的成熟架構，實現了真正意義上的負載均衡高可用(尤其是對于Nginx+Keepalived而言)，尤其適用于bbs和blog(它們均是訪問頻繁，用戶量大的對象)，建議熟練掌握。
