沒錯，說的就是連接池，玩互聯網架構，連接池是必須要掌握的。

什么是連接池?

創建與管理連接緩沖池的技術，本質是資源復用，不用頻繁創建與銷毀連接，能提高性能。

畫外音：數據庫連接池，服務連接池，都是連接池。

微服務分層架構中，連接池扮演著極其重要的角色。

如上圖：

• 上層虛線框，是web集群;
• 下層虛線框，是service集群;
• 綠色框，代表一條上下游建立的連接;
• 藍色框，代表連接池;

此例中，一個調用方會與一個服務節點建立2條連接，服務集群共3個集群，故連接池總共6條連接，從c1到c6。

上層調用方，除了會從連接池中拿連接收發報文訪問下游服務外，互聯網架構中，還有哪些技術點與連接池相關呢?

一、故障轉移與服務發現

如上圖：

• 故障轉移，假如舊的服務節點s1出現了故障，c1和c2連接失效，會被從連接池中剔除，后續請求不會再發送到故障的節點中;
• 服務發現，假如新的服務節點s4上線，c7和c8連接建立，會被加入到連接池中來，后續請求會發送到新增的節點中;

動態刪除連接與新增連接，這就是動態連接池。

服務發現，如何感知到新的節點s4上線呢?詳見《改了配置，不想重啟，怎么整?》。

二、負載均衡

采用輪詢的策略，逐個使用連接池中的連接，可以實現對下游服務訪問的負載均衡。

采用完全隨機的策略，也能實現負載均衡。

如上圖：

給每個連接一個相同的權重，取連接訪問下游時，采用一個隨機算法，落到哪個格子用哪個連接，還是上面的例子：

n = random() % 6 + 1; 

當

• n=[1,2]，訪問s1;
• n=[3,4]，訪問s2;
• n=[5,6]，訪問s3;

3個區間的寬度相同，即落到某個服務的概率相等，負載是均衡的。

那么，如果服務節點的服務能力有差異，有的處理能力強，有的處理能力弱，怎么辦呢?

三、靜態權重負載均衡

如上圖：

給每個服務配置一個不同的權重，連接池初始化時，不同服務的區間大小有差異，取連接訪問下游時，落到某個格子的概率也會有差異：

n = random() % 16 + 1; 

當

• n=[1,2]，訪問s1;
• n=[3,6]，訪問s2;
• n=[7,16]，訪問s3;

3個區間的寬度與服務的權重成正比，即落到某個服務的概率等同權重。

畫外音：nginx就支持這么玩，但靜態權重實在太粗暴了。

那么，如果服務節點的服務能力有差異，但又很難用靜態權重標識，怎么辦呢?

四、動態權重負載均衡

如上圖：連接池初始化時，為連接分配一個動態的權重。

畫外音：服務不再需要配置了。

仍按照之前的方法分配負載，只是：

• 連接處理超時，動態權重下降;
• 連接處理成功，動態權重上升;

更具體的細節，詳見《異構服務器的負載均衡，怎么設計?》。

如此一來，就能夠根據服務的實際處理能力分配負載了，是不是有點意思?

故障轉移，服務發現，負載均衡，靜態權重/動態權重負載均衡，你有收獲嗎?

【本文為51CTO專欄作者“58沈劍”原創稿件，轉載請聯系原作者】

戳這里，看該作者更多好文