如何打造應(yīng)對超大流量的高性能負(fù)載均衡？

作者：Java高級架構(gòu)進(jìn)階 2018-09-28 04:46:19

什么是負(fù)載均衡呢？負(fù)載均衡是云計(jì)算的基礎(chǔ)組件，是網(wǎng)絡(luò)流量的入口，其重要性不言而喻。從應(yīng)用場景上來說，常見的負(fù)載均衡模型有全局負(fù)載均衡和集群內(nèi)負(fù)載均衡，從產(chǎn)品形態(tài)角度來說，又可以分為硬件負(fù)載均衡和軟件負(fù)載均衡。

負(fù)載均衡

負(fù)載均衡是云計(jì)算的基礎(chǔ)組件，是網(wǎng)絡(luò)流量的入口，其重要性不言而喻。

什么是負(fù)載均衡呢?用戶輸入的流量通過負(fù)載均衡器按照某種負(fù)載均衡算法把流量均勻地分散到后端的多個(gè)服務(wù)器上，接收到請求的服務(wù)器可以獨(dú)立的響應(yīng)請求，達(dá)到負(fù)載分擔(dān)的目的。從應(yīng)用場景上來說，常見的負(fù)載均衡模型有全局負(fù)載均衡和集群內(nèi)負(fù)載均衡，從產(chǎn)品形態(tài)角度來說，又可以分為硬件負(fù)載均衡和軟件負(fù)載均衡。

全局負(fù)載均衡一般通過DNS實(shí)現(xiàn)，通過將一個(gè)域名解析到不同VIP，來實(shí)現(xiàn)不同的region調(diào)度能力;硬件負(fù)載均衡器常見的有F***10、Array，它們的優(yōu)缺點(diǎn)都比較明顯，優(yōu)點(diǎn)是功能強(qiáng)大，有專門的售后服務(wù)團(tuán)隊(duì)，性能比較好，缺點(diǎn)是缺少定制的靈活性，維護(hù)成本較高;現(xiàn)在的互聯(lián)網(wǎng)更多的思路是通過軟件負(fù)載均衡來實(shí)現(xiàn)，這樣可以滿足各種定制化需求，常見的軟件負(fù)載均衡有LVS、Nginx、Haproxy。

我們的高性能負(fù)載均衡使用LVS和Tengine，在一個(gè)region區(qū)分不同的機(jī)房，每個(gè)機(jī)房都有LVS集群和Tengine集群，對于用戶配置的四層監(jiān)聽，LVS后面會直接掛載用戶ECS，七層用戶監(jiān)聽ECS則掛載在Tengine上，四層監(jiān)聽的流量直接由LVS轉(zhuǎn)發(fā)到ECS，而7層監(jiān)聽的流量會經(jīng)過LVS到Tenigine再到用戶ECS。每一個(gè)region里都會有多個(gè)可用區(qū)，達(dá)到主備容災(zāi)目的，每一個(gè)集群里都有多臺設(shè)備，***是為了提升性能，第二也是基于容災(zāi)考慮。

上圖為高性能負(fù)載均衡控制管理概要圖，SLB產(chǎn)品也有SDN概念，轉(zhuǎn)發(fā)和控制是分離的，用戶所有配置通過控制臺先到控制器，通過集中控制器轉(zhuǎn)換將用戶配置推送到不同設(shè)備上，每臺設(shè)備上都有Agent接收控制器下發(fā)的需求，通過本地轉(zhuǎn)換成LVS和Tengine能夠識別的配置，這個(gè)過程支持熱配置，不影響用戶轉(zhuǎn)發(fā)，不需要reload才能使新配置生效。

LVS

1. LVS支持的三種模式

早期LVS支持三種模式，DR模式、TUN模式和NAT模式。

DR模式經(jīng)過LVS之后，LVS會將MAC地址更改、封裝MAC頭，內(nèi)層IP報(bào)文不動，報(bào)文經(jīng)過LVS負(fù)載均衡查找到RS之后，將源MAC頭改成自己的，目的MAC改成RS地址，MAC尋址是在二層網(wǎng)絡(luò)里，對網(wǎng)絡(luò)部署有一定的限定，在大規(guī)模分布式集群部署里，這種模式的靈活性沒有辦法滿足需求;

TUN模式走在LVS之后，LVS會在原有報(bào)文基礎(chǔ)上封裝IP頭，到了后端RS之后，RS需要解開IP報(bào)文封裝，才能拿到原始報(bào)文，不管是DR模式還是TUN模式，后端RS都可以看到真實(shí)客戶源IP，目的IP是自己的VIP，VIP在RS設(shè)備上需要配置，這樣可以直接繞過LVS返回給用戶，TUN模式問題在于需要在后端ECS上配置解封裝模塊，在Linux上已經(jīng)支持這種模塊，但是windows上還沒有提供支持，所以會對用戶系統(tǒng)鏡像選擇有限定。

NAT模式用戶訪問的是VIP，LVS查找完后會將目的IP做DNAT轉(zhuǎn)換，選擇出RS地址，因?yàn)榭蛻舳说腎P沒變，在回包的時(shí)候直接向公網(wǎng)真實(shí)客戶端IP去路由，NAT的約束是因?yàn)長VS做了DNAT轉(zhuǎn)換，所以回包需要走LVS，把報(bào)文頭轉(zhuǎn)換回去，由于ECS看到的是客戶端真實(shí)的源地址，我們需要在用戶ECS上配置路由，將到ECS的默認(rèn)路由指向LVS上，這對用戶場景也做了限制。

2. LVS基于Netfilter框架實(shí)現(xiàn)

Netfilter是Linux提供的網(wǎng)絡(luò)開放平臺，基于平臺可以開發(fā)自己的業(yè)務(wù)功能模塊，早期好多安全廠商都是基于Netfilter做一些業(yè)務(wù)模型實(shí)現(xiàn)，這種模型比較靈活，但通用模型里更多的是兼容性考慮，路徑會非常長;而且通用模型中沒辦法發(fā)揮多核特性，目前CPU的發(fā)展更多是向橫向擴(kuò)展，我們經(jīng)常見到多路服務(wù)器，每路上有多少核，早期通用模型對多核支持并不是特別友善，在多核設(shè)計(jì)上有些欠缺，導(dǎo)致我們在通用模型上做一些應(yīng)用開發(fā)時(shí)的擴(kuò)展性是有限的，隨著核的數(shù)量越來越多，性能不增反降。

3. LVS的改進(jìn)

早期模式的各種限制制約了我們的發(fā)展，所以我們首先做了FullNAT，相比原來的NAT方式，F(xiàn)ullNAT多了SNAT屬性，將客戶端的原IP地址作了轉(zhuǎn)換;
其次，我們在并行化上做了處理，充分利用多核實(shí)現(xiàn)性能線性提升;
然后是快速路徑，我們在做網(wǎng)絡(luò)轉(zhuǎn)發(fā)模型時(shí)很容易想到設(shè)計(jì)快速路徑和慢速路徑，慢速路徑更多是解決首包如何通過設(shè)備問題，可能需要查ACL或路由，需要判斷許多和策略相關(guān)的東西，后面所有報(bào)文都可以通過快速路徑轉(zhuǎn)發(fā)出去;
還有指令相關(guān)優(yōu)化，利用因特爾特殊指令提升性能;
另外針對多核架構(gòu)，NUMA多節(jié)點(diǎn)內(nèi)存訪問，通過訪問Local節(jié)點(diǎn)內(nèi)存可能獲得更好的延遲表現(xiàn)。

客戶端進(jìn)來IP首先訪問LVS的VIP，原IP是客戶端的，目的IP是LVS的VIP，經(jīng)過FullNAT轉(zhuǎn)換后，原IP變成LVS的Local地址，目的地址是LVS選擇出來的RS地址，這樣在RS回包時(shí)比較容易，只要路由可達(dá)，報(bào)文一定會交到LVS上，不需要在RS上做特殊的配置。右面就是DNAT+SNAT轉(zhuǎn)換，報(bào)文就可以通過LVS轉(zhuǎn)發(fā)回客戶端，這種方式主要帶來應(yīng)用場景部署靈活性選擇。

通過并行化實(shí)現(xiàn)對LVS性能的改善，性能沒有辦法得到線性提升更多的是因?yàn)槊織l路徑都需要訪問全局資源，就會不可避免引入鎖的開箱，另外，同一條鏈接上的報(bào)文可能分散在不同的核上，大家去訪問全局資源時(shí)也會導(dǎo)致cache的丟失。

所以我們通過RSS技術(shù)把同一個(gè)五源組報(bào)文扔到同一個(gè)CPU上處理，保證入方向的所有相同連接上的報(bào)文都能交給相同CPU處理，每個(gè)核在轉(zhuǎn)發(fā)出去時(shí)都用當(dāng)前CPU上的Local地址，通過設(shè)置一些fdir規(guī)則，報(bào)文回來時(shí)后端RS訪問的目的地址就是對應(yīng)CPU上的local地址，可以交到指定的CPU上去處理，這樣一條連接上左右方向報(bào)文都可以交給同一個(gè)CPU處理，將流在不同的CPU隔離開。

另外，我們把所有配置資源包括動態(tài)緩存資源在每個(gè)CPU上作了拷貝，將資源局部化，這使整個(gè)流從進(jìn)入LVS到轉(zhuǎn)發(fā)出去訪問的資源都是固定在一個(gè)核上的本地資源，使性能達(dá)到較大化，實(shí)現(xiàn)線性提升。

經(jīng)過我們改進(jìn)之后，LVS的具體表現(xiàn)如下：

出于對容災(zāi)和性能提升的考慮，我們做了集群化部署，每個(gè)region有不同機(jī)房，每個(gè)機(jī)房有多個(gè)調(diào)度單元，每個(gè)單元有多臺LVS設(shè)備;
每臺LVS經(jīng)過優(yōu)化后，都能達(dá)到更高性能，大容量，單臺LVS可以達(dá)到4000W PPS，600W CPS、單個(gè)group可以到達(dá)1億并發(fā);
支持region、IDC、集群和應(yīng)用級的高可用;
實(shí)現(xiàn)了防×××功能，并在原版LVS上提供了更豐富的功能，可以基于各個(gè)維度做管理控制，較精確的統(tǒng)計(jì)，流量的分析等。

Tengine

Tengine在應(yīng)用過程中也遇到了各種問題，最嚴(yán)重的就是性能問題，我們發(fā)現(xiàn)隨著CPU數(shù)量越來越多，QPS值并沒有線性提升;Nginx本身是多worker模型，每個(gè)worker是單進(jìn)程模式，多worker架構(gòu)做CPU親和，內(nèi)部基于事件驅(qū)動的模型，其本身已經(jīng)提供了很高的性能，單核Nginx可以跑到1W5～2W QPS。Nginx往下***層是socket API，socket 往下有一層VFS，再往下是TCP、IP，socket層比較薄，經(jīng)過量化的分析和評估，性能開銷較大的是TCP協(xié)議棧和VFS部分，因?yàn)橥介_銷大，我們發(fā)現(xiàn)橫向擴(kuò)展不行，對此，我們做了一些優(yōu)化。

七層反向代理的路徑更長，處理更復(fù)雜，所以它的性能比LVS低很多，我們比較關(guān)注單機(jī)和集群的性能，集群性能可以靠堆設(shè)備去解決，單機(jī)如果不提升，成本會一直增加，從性能角度來看，有以下的優(yōu)化思路和方向：

基于Kernel做開發(fā)，比如優(yōu)化協(xié)議棧;
基于Aliscoket的優(yōu)化，Alisocket是阿里研發(fā)的高性能TCP協(xié)議棧平臺，底層是DPDK，它將資源做了局部化處理，報(bào)文分發(fā)不同核處理，性能非常出色;
HTTPS業(yè)務(wù)越來越多，流量逐步遞增，我們采用硬件加速卡方式做一些加解密的性能提升，還有HTTPS的會話復(fù)用;
基于Web傳輸層的性能優(yōu)化。

從彈性角度看，比如一些公司的應(yīng)用和用戶熱點(diǎn)有關(guān)，當(dāng)發(fā)生一個(gè)社會網(wǎng)絡(luò)熱點(diǎn)后，訪問量會急劇變高，我們固有的基于物理機(jī)器實(shí)現(xiàn)的負(fù)載均衡模型在彈性擴(kuò)展方面是有限制的，對此，我們可以使用VM去做，把反向代理功能放在VM去跑，我們會監(jiān)控實(shí)例負(fù)載情況，根據(jù)實(shí)時(shí)需求做彈性擴(kuò)容縮容;

除了VM，還有調(diào)度單元，我們可以在不同調(diào)度單元做平滑切換，根據(jù)不同的水位情況，通過切換可以把負(fù)載均衡實(shí)例調(diào)度到不同的單元中去，改善使容量上管理。Tengine本身也做了集群化部署，我們在一個(gè)region里有不同的機(jī)房，不同的調(diào)度單元，每個(gè)調(diào)度單元有多組設(shè)備;LVS到Tengine也有健康檢查，如果一臺Tengine有問題，可以通過健康檢查方式摘除，不會影響用戶轉(zhuǎn)發(fā)能力;

Tengine具備靈活的調(diào)度能力，可以幫助我們應(yīng)對更多的復(fù)雜情況;另外，Tengine也有很多高級的特性，比如基于cookie的會話保持、基于域名/URL的轉(zhuǎn)發(fā)規(guī)則、HTTP2、Websocket等功能;目前，我們7層單VIP可以支撐10W規(guī)格的HTTPS QPS。

高可用

1. Group

高可用是整個(gè)產(chǎn)品很重要的一部分，圖為集群內(nèi)的高可用架構(gòu)圖，可以看到，在網(wǎng)絡(luò)路徑上是全冗余無單點(diǎn)的。具體情況如下：

雙路服務(wù)器，每節(jié)點(diǎn)雙網(wǎng)口上聯(lián)不同交換機(jī)，增加帶寬，避免跨節(jié)點(diǎn)收包
VIP路由兩邊發(fā)不同的優(yōu)先級，不同的VIP，高優(yōu)先級路由在不同的交換機(jī)上
單機(jī)160G轉(zhuǎn)發(fā)能力，單VIP 80G帶寬，單流 40G帶寬
網(wǎng)卡故障不影響轉(zhuǎn)發(fā)，上下游路由自動切換
ECMP，VIP路由發(fā)兩邊，通過優(yōu)先級控制從入口
集群640G轉(zhuǎn)發(fā)能力，單vip 320G帶寬
會話同步，多播、包觸發(fā)同步、定時(shí)同步
單機(jī)故障不影響轉(zhuǎn)發(fā)
交換機(jī)故障不影響轉(zhuǎn)發(fā)，路由秒級切換
用戶無感知的升級變更，部分未及時(shí)同步的連接重連即可

2. AZ

每個(gè)機(jī)房連接兩個(gè)不同路由器，當(dāng)一個(gè)AZ出現(xiàn)故障之后，我們可以無縫切換到另外一個(gè)機(jī)房，具體情況如下：

VIP在不同的AZ發(fā)不同優(yōu)先級的路由(秒級切換、自動切換)
VIP區(qū)分主備AZ，不同的VIP主備AZ不同
多個(gè)AZ的負(fù)載通過控制系統(tǒng)分配
缺省提供VIP多AZ的容災(zāi)能力
不支持跨AZ的session同步，跨AZ切換后，所有連接都需要重連

3. Region

當(dāng)用戶訪問域名時(shí)，通過DNS解析，可以設(shè)定DNS解析到多個(gè)regionVIP地址，下沉到某一個(gè)Region來看，如果一個(gè)機(jī)房出現(xiàn)故障，流量可以切換到另一個(gè)可用區(qū)繼續(xù)轉(zhuǎn)發(fā)，如果流量進(jìn)到機(jī)房發(fā)現(xiàn)一臺LVS轉(zhuǎn)發(fā)設(shè)備出現(xiàn)故障后，我們可以切換到另外一臺LVS作處理，如果LVS后面掛載的RS出現(xiàn)問題，通過健康檢查也可以快速摘掉設(shè)備，將流量轉(zhuǎn)換到健康的設(shè)備上去。我們從多個(gè)維度實(shí)現(xiàn)高可用，較大限度地滿足用戶的需求。

總結(jié)

目前，高性能負(fù)載均衡應(yīng)用主要在幾個(gè)方面：