微服務(wù)必須具備的 3 個(gè)基本功能!
在我們對(duì)微服務(wù)架構(gòu)有了整體的認(rèn)識(shí),并且具備了服務(wù)化的前提后,一個(gè)完整的微服務(wù)請(qǐng)求需要涉及到哪些內(nèi)容呢?
這其中包括了微服務(wù)框架所具備的三個(gè)基本功能:
- 服務(wù)的發(fā)布與引用
- 服務(wù)的注冊(cè)與發(fā)現(xiàn)
- 服務(wù)的遠(yuǎn)程通信
服務(wù)的發(fā)布與引用
首先我們面臨的第一個(gè)問(wèn)題是,如何發(fā)布服務(wù)和引用服務(wù)。具體一點(diǎn)就是,這個(gè)服務(wù)的接口名是啥,有哪些參數(shù),返回值是什么類(lèi)型等等,通常也就是接口描述信息。
常見(jiàn)的發(fā)布和引用的方式包括:
- RESTful API / 聲明式Restful API
- XML
- IDL
一般來(lái)講,不管使用哪種方式,服務(wù)端定義接口與實(shí)現(xiàn)接口都是必要的,例如:
- @exa(id = "xxx")
- public interface testApi {
- @PostMapping(value = "/soatest/{id}")
- String getResponse(@PathVariable(value = "id") final Integer index, @RequestParam(value = "str") final String Data);
- }
- }
具體實(shí)現(xiàn)如下:
- public class testApiImpl implements testApi{
- @Override
- String getResponse(final Integer index, final String Data){
- return "ok";
- }
- }
聲明式Restful API
這種常使用HTTP或者HTTPS協(xié)議調(diào)用服務(wù),相對(duì)來(lái)說(shuō),性能稍差。
首先服務(wù)端如上定義接口并實(shí)現(xiàn)接口,隨后服務(wù)提供者可以使用類(lèi)似restEasy這樣的框架通過(guò)servlet的方式發(fā)布服務(wù),而服務(wù)消費(fèi)者直接引用定義的接口調(diào)用。
除此之外還有一種類(lèi)似feign的方式,即服務(wù)端的發(fā)布依賴(lài)于springmvc controller,框架只基于客戶(hù)端模板化http請(qǐng)求調(diào)用。這種情況下需接口定義與服務(wù)端controller協(xié)商一致,這樣客戶(hù)端直接引用接口發(fā)起調(diào)用即可。
XML
使用私有rpc協(xié)議的都會(huì)選擇xml配置的方式來(lái)描述接口,比較高效,例如dubbo、motan等。
同樣服務(wù)端如上定義接口并實(shí)現(xiàn)接口,服務(wù)端通過(guò)server.xml將文件接口暴露出去。服務(wù)消費(fèi)者則通過(guò)client.xml引用需要調(diào)用的接口。
但這種方式對(duì)業(yè)務(wù)代碼入侵較高,xml配置有變更時(shí)候,服務(wù)消費(fèi)者和服務(wù)提供者都需要更新。
IDL
IDL是接口描述語(yǔ)言,常用于跨語(yǔ)言之間的調(diào)用,最常用的IDL包括Thrift協(xié)議以及gRpc協(xié)議。例如gRpc協(xié)議使用Protobuf來(lái)定義接口,寫(xiě)好一個(gè)proto文件后,利用語(yǔ)言對(duì)應(yīng)的protoc插件生成對(duì)應(yīng)server端與client端的代碼,便可直接使用。
但是如果參數(shù)字段非常多,proto文件會(huì)顯得非常大難以維護(hù)。并且如果字段經(jīng)常需要變更,例如刪除字段,PB就無(wú)法做到向前兼容。
一些tips
不管哪種方式,在接口變更的時(shí)候都需要通知服務(wù)消費(fèi)者。消費(fèi)者對(duì)api的強(qiáng)依賴(lài)性是很難避免的,接口變更引起的各種調(diào)用失敗也十分常見(jiàn)。所以如果有變更,盡量使用新增接口的方式,或者給每個(gè)接口定義好版本號(hào)吧。
在使用上,大多數(shù)人的選擇是對(duì)外Restful,對(duì)內(nèi)Xml,跨語(yǔ)言IDL。
一些問(wèn)題
在實(shí)際的服務(wù)發(fā)布與引用的落地上,還會(huì)存在很多問(wèn)題,大多和配置信息相關(guān)。例如一個(gè)簡(jiǎn)單的接口調(diào)用超時(shí)時(shí)間配置,這個(gè)配置應(yīng)該配在服務(wù)級(jí)別還是接口級(jí)別?是放在服務(wù)提供者這邊還是服務(wù)消費(fèi)者這邊?
在實(shí)踐中,大多數(shù)服務(wù)消費(fèi)者會(huì)忽略這些配置,所以服務(wù)提供者自身提供默認(rèn)的配置模板是有必要的,相當(dāng)于一個(gè)預(yù)定義的過(guò)程。每個(gè)服務(wù)消費(fèi)者在繼承服務(wù)提供者預(yù)定義好的配置后,還需要能夠進(jìn)行自定義的配置覆蓋。
但是,比方說(shuō)一個(gè)服務(wù)有100個(gè)接口,每個(gè)接口都有自身的超時(shí)配置,而這個(gè)服務(wù)又有100個(gè)消費(fèi)者,當(dāng)服務(wù)節(jié)點(diǎn)發(fā)生變更的時(shí)候,就會(huì)發(fā)生100*100次注冊(cè)中心的消息通知,這是比較可怕的,就有可能引起網(wǎng)絡(luò)風(fēng)暴。
服務(wù)的注冊(cè)與發(fā)現(xiàn)
假設(shè)你已經(jīng)發(fā)布了服務(wù),并在一臺(tái)機(jī)器上部署了服務(wù),那么消費(fèi)者該怎樣找到你的服務(wù)的地址呢?
也許有人會(huì)說(shuō)是DNS,但DNS有許多缺陷:
- 維護(hù)麻煩,更新延遲
- 無(wú)法在客戶(hù)端做負(fù)載均衡
- 不能做到端口級(jí)別的服務(wù)發(fā)現(xiàn)
其實(shí)在分布式系統(tǒng)中,有個(gè)很重要的角色,叫注冊(cè)中心,便是用于解決該問(wèn)題。
使用注冊(cè)中心尋址并調(diào)用的過(guò)程如下:
- 服務(wù)啟動(dòng)時(shí),向注冊(cè)中心注冊(cè)自身,并定期發(fā)送心跳匯報(bào)存活狀態(tài)。
- 客戶(hù)端調(diào)用服務(wù)時(shí),向注冊(cè)中心訂閱服務(wù),并將節(jié)點(diǎn)列表緩存至本地,再與服務(wù)端建立連接(當(dāng)然這兒可以lazy load)。發(fā)起調(diào)用時(shí),在本地緩存節(jié)點(diǎn)列表中,基于負(fù)載均衡算法選取一臺(tái)服務(wù)端發(fā)起調(diào)用。
- 當(dāng)服務(wù)端節(jié)點(diǎn)發(fā)生變更,注冊(cè)中心能感知到后通知到客戶(hù)端。
注冊(cè)中心的實(shí)現(xiàn)主要需要考慮以下這些問(wèn)題:
- 自身一致性與可用性
- 注冊(cè)方式
- 存儲(chǔ)結(jié)構(gòu)
- 服務(wù)健康監(jiān)測(cè)
- 狀態(tài)變更通知
一致性與可用性
一個(gè)老舊的命題,即分布式系統(tǒng)中的CAP(一致性、可用性、分區(qū)容錯(cuò)性)。我們知道同時(shí)滿(mǎn)足CAP是不可能的,那么便需要有取舍。常見(jiàn)的注冊(cè)中心大致分為CP注冊(cè)中心以及AP注冊(cè)中心。
CP注冊(cè)中心
比較典型的就是zookeeper、etcd以及consul了,犧牲可用性來(lái)保證了一致性,通過(guò)zab協(xié)議或者raft協(xié)議來(lái)保證一致性。
AP注冊(cè)中心
犧牲一致性來(lái)保證可用性,感覺(jué)只能列出eureka了。eureka每個(gè)服務(wù)器單獨(dú)保存節(jié)點(diǎn)列表,可能會(huì)出現(xiàn)不一致的情況。關(guān)注公眾號(hào)Java技術(shù)棧,在后臺(tái)回復(fù):cloud,可以獲取我整理的 Spring Cloud 系列教程,非常齊全。
從理論上來(lái)說(shuō),僅用于注冊(cè)中心,AP型是遠(yuǎn)比CP型合適的??捎眯缘男枨筮h(yuǎn)遠(yuǎn)高于一致性,一致性只要保證最終一致即可,而不一致的時(shí)候還可以使用各種容錯(cuò)策略進(jìn)行彌補(bǔ)。
保障高可用性其實(shí)還有很多辦法,例如集群部署或者多IDC部署等。Consul就是多IDC部署保障可用性的典型例子,它使用了wan gossip來(lái)保持跨機(jī)房狀態(tài)同步。
注冊(cè)方式
有兩種與注冊(cè)中心交互的方式,一種是通過(guò)應(yīng)用內(nèi)集成sdk,另一種則是通過(guò)其他方式在應(yīng)用外間接與注冊(cè)中心交互。Spring Boot 系列教程整理好了:https://github.com/javastacks/spring-boot-best-practice
應(yīng)用內(nèi)
這應(yīng)該就是最常見(jiàn)的方式了,客戶(hù)端與服務(wù)端都集成相關(guān)sdk與注冊(cè)中心進(jìn)行交互。例如選擇zookeeper作為注冊(cè)中心,那么就可以使用curator sdk進(jìn)行服務(wù)的注冊(cè)與發(fā)現(xiàn)。
應(yīng)用外
consul提供了應(yīng)用外注冊(cè)的解決方案,consul agent或者第三方Registrator可以監(jiān)聽(tīng)服務(wù)狀態(tài),從而負(fù)責(zé)服務(wù)提供者的注冊(cè)或銷(xiāo)毀。而Consul Template則可以做到定時(shí)從注冊(cè)中心拉取節(jié)點(diǎn)列表,并刷新LB配置(例如通過(guò)Nginx的upstream),這樣就相當(dāng)于完成了服務(wù)消費(fèi)者端的負(fù)載均衡。
存儲(chǔ)結(jié)構(gòu)
注冊(cè)中心存儲(chǔ)相關(guān)信息一般采取目錄化的層次結(jié)構(gòu),一般分為服務(wù)-接口-節(jié)點(diǎn)信息。
同時(shí)注冊(cè)中心一般還會(huì)進(jìn)行分組,分組的概念很廣,可以是根據(jù)機(jī)房劃分也可以根據(jù)環(huán)境劃分。
節(jié)點(diǎn)信息主要會(huì)包括節(jié)點(diǎn)的地址(ip和端口號(hào)),還有一些節(jié)點(diǎn)的其他信息,比如請(qǐng)求失敗的重試次數(shù)、超時(shí)時(shí)間的設(shè)置等等。
當(dāng)然很多時(shí)候,其實(shí)可能會(huì)把接口這一層給去掉,因?yàn)榭紤]到接口數(shù)量很多的情況下,過(guò)多的節(jié)點(diǎn)會(huì)造成很多問(wèn)題,比如之前說(shuō)的網(wǎng)絡(luò)風(fēng)暴。
服務(wù)健康監(jiān)測(cè)
服務(wù)存活狀態(tài)監(jiān)測(cè)也是注冊(cè)中心的一個(gè)必要功能。在zookeeper中,每個(gè)客戶(hù)端都會(huì)與服務(wù)端保持一個(gè)長(zhǎng)連接,并生成一個(gè)session,在session過(guò)期周期內(nèi),通過(guò)客戶(hù)端定時(shí)向服務(wù)端發(fā)送心跳包來(lái)檢測(cè)鏈路是否正常,服務(wù)端則重置下次session的過(guò)期時(shí)間,如果session過(guò)期周期內(nèi)都沒(méi)有檢測(cè)到客戶(hù)端的心跳包,那么就會(huì)認(rèn)為它已經(jīng)不可用了,將其從節(jié)點(diǎn)列表中移除。
狀態(tài)變更通知
在注冊(cè)中心具備服務(wù)健康檢測(cè)能力后,還需要將狀態(tài)變更通知到客戶(hù)端。在zookeeper中,可以通過(guò)監(jiān)聽(tīng)器watcher的process方法來(lái)獲取服務(wù)變更。
服務(wù)的遠(yuǎn)程通信
在上面,服務(wù)消費(fèi)者已經(jīng)正確引用了服務(wù),并發(fā)現(xiàn)了該服務(wù)的地址,那么如何向這個(gè)地址發(fā)起請(qǐng)求呢?要解決服務(wù)間的遠(yuǎn)程通信問(wèn)題,我們需要考慮一些問(wèn)題:
- 網(wǎng)絡(luò)I/O的處理
- 傳輸協(xié)議
- 序列化方式
網(wǎng)絡(luò)I/O的處理
簡(jiǎn)單來(lái)說(shuō),就是客戶(hù)端是怎么處理請(qǐng)求?服務(wù)端又是怎么處理請(qǐng)求的?關(guān)注公眾號(hào)Java技術(shù)棧,在后臺(tái)回復(fù):面試,可以獲取我整理的 Java 網(wǎng)絡(luò)編程系列面試題和答案,非常齊全。
先從客戶(hù)端來(lái)說(shuō),我們創(chuàng)建連接的時(shí)機(jī)可以是從注冊(cè)中心獲取到節(jié)點(diǎn)信息的時(shí)候,但更多時(shí)候,我們會(huì)選擇在第一次請(qǐng)求發(fā)起調(diào)用的時(shí)候去創(chuàng)建連接。此外,我們往往會(huì)為該節(jié)點(diǎn)維護(hù)一個(gè)連接池,進(jìn)行連接復(fù)用。
如果是異步的情況下,我們還需要為每一個(gè)請(qǐng)求編號(hào),并維護(hù)一個(gè)請(qǐng)求池,從而在響應(yīng)返回時(shí)找到對(duì)應(yīng)的請(qǐng)求。當(dāng)然這并不是必須的,很多框架會(huì)幫我們干好這些事情,比如rxNetty。
從服務(wù)端來(lái)說(shuō),處理請(qǐng)求的方式就可以追溯到unix的5種IO模型了。我們可以直接使用Netty、MINA等網(wǎng)絡(luò)框架來(lái)處理服務(wù)端請(qǐng)求,或者如果你有十分的興趣,可以自己實(shí)現(xiàn)一個(gè)通信框架。
傳輸協(xié)議
最常見(jiàn)的當(dāng)然是直接使用Http協(xié)議,使用雙方無(wú)需關(guān)注和了解協(xié)議內(nèi)容,方便直接,但自然性能上會(huì)有所折損。
還有就是目前比較火熱的http2協(xié)議,擁有二進(jìn)制數(shù)據(jù)、頭部壓縮、多路復(fù)用等許多優(yōu)良特性。但從自身的實(shí)踐上看,http2要走到生產(chǎn)仍有一段距離,一個(gè)最簡(jiǎn)單的例子,升級(jí)到http2后所有的header names都變成小寫(xiě),同時(shí)不是case-insenstive了,這時(shí)候就會(huì)有兼容性問(wèn)題。
當(dāng)然如果追求更高效與可控的傳輸,可以定制私有協(xié)議并基于tcp進(jìn)行傳輸。私有協(xié)議的定制需要通信雙方都了解其特性,設(shè)計(jì)上還需要注意預(yù)留好擴(kuò)展字段,以及處理好粘包分包等問(wèn)題。
序列化方式
在網(wǎng)絡(luò)傳輸?shù)那昂?,往往都需要在發(fā)送端進(jìn)行編碼,在服務(wù)端進(jìn)行解碼,這樣主要是為了在網(wǎng)絡(luò)傳輸時(shí)候減少數(shù)據(jù)傳輸量。
常用的序列化方式包括文本類(lèi)的,例如XML/JSON,還有二進(jìn)制類(lèi)型的,例如Protobuf/Thrift等。在選擇序列化的考慮上,一是性能,Protobuf的壓縮大小和壓縮速度都會(huì)比JSON快很多,性能也更好。二是兼容性上,相對(duì)來(lái)說(shuō),JSON的前后兼容性會(huì)強(qiáng)一些,可以用于接口經(jīng)常變化的場(chǎng)景。
在此還是需要強(qiáng)調(diào),使用每一種序列化都需要了解過(guò)其特性,并在接口變更的時(shí)候拿捏好邊界。例如jackson的FAIL_ON_UNKNOW_PROPERTIES屬性、kryo的CompatibleFieldSerializer、jdk序列化會(huì)嚴(yán)格比較serialVersionUID等等。





















