?做海外市場(chǎng)，特別是目標(biāo)面向全球的用戶，網(wǎng)絡(luò)的重要性不言而喻。試想一個(gè)移動(dòng)端應(yīng)用，打開(kāi) App 首頁(yè)需要 10s 的時(shí)間，恐怕會(huì)讓一半的用戶流失。愛(ài)奇藝推出的國(guó)際版面向全球的用戶，在面臨海外網(wǎng)絡(luò)復(fù)雜的環(huán)境，針對(duì)性做了一系列優(yōu)化實(shí)踐，取得了不錯(cuò)的效果，在此總結(jié)分享我們的一些做法和優(yōu)化思路，希望對(duì)你有所幫助。

優(yōu)化實(shí)踐的幾個(gè)核心：能不請(qǐng)求網(wǎng)絡(luò)就不請(qǐng)求，請(qǐng)求的鏈接目標(biāo) 0-RTT，請(qǐng)求的內(nèi)容越小越好。

01  調(diào)研當(dāng)?shù)氐木W(wǎng)絡(luò)情況

在 App 初期版本內(nèi)增加請(qǐng)求鏈路的采樣。樣本數(shù)足夠的情況下，可以清楚你要推廣的市場(chǎng)是怎樣的環(huán)境。樣本數(shù)據(jù)讓我們清楚發(fā)現(xiàn)了各個(gè)國(guó)家、地區(qū)網(wǎng)絡(luò)的問(wèn)題，在大規(guī)模宣傳和投入前，做好 App 的基礎(chǔ)工作非常重要。

圖：海外用戶至海外數(shù)據(jù)中心的網(wǎng)絡(luò)延遲（這是監(jiān)測(cè)節(jié)點(diǎn)數(shù)據(jù)，用戶端延遲更高）

?圖：海外主要國(guó)家、地區(qū)移動(dòng)網(wǎng)絡(luò)情況

在調(diào)研階段，我們發(fā)現(xiàn)了以下問(wèn)題比較明顯，切實(shí)影響我們的運(yùn)營(yíng)及 App 體驗(yàn)。

一、運(yùn)營(yíng)商劫持嚴(yán)重，DNS 劫持、HTTP 劫持。二、移動(dòng)端網(wǎng)絡(luò)復(fù)雜  東南亞的網(wǎng)絡(luò)基礎(chǔ)建設(shè)還待改善。三、低端 Android 機(jī)有一定的占比，數(shù)量級(jí)別影響決策。四、國(guó)際網(wǎng)絡(luò)用戶端到服務(wù)器的延遲高

在初期階段，技術(shù)工作的核心是解決以上問(wèn)題，為后續(xù)的運(yùn)營(yíng)做好基礎(chǔ)建設(shè)。因?yàn)闃I(yè)務(wù)接口大部分為 HTTP 形式，就開(kāi)始圍繞 HTTPS 進(jìn)行針對(duì)性改進(jìn)。

圖：一個(gè)HTTPS請(qǐng)求階段分析

一個(gè) HTTPS 在第一請(qǐng)求會(huì)有 5 個(gè) RTT

1RTT(DNS)+ 1RTT(TCP 握手)+ 2RTT(TLS1.2)+ 1RTT(HTTP 鏈接)

如果以端到服務(wù) 50ms 延遲為例，一個(gè) HTTPS 的接口延遲 =  350ms =  50*5+ 100ms（服務(wù)端）如果目標(biāo)是一個(gè)非國(guó)內(nèi)用戶，打開(kāi)首頁(yè)需要 1.1s, 這個(gè)時(shí)間顯然有點(diǎn)長(zhǎng)。

下面開(kāi)始進(jìn)行技術(shù)改進(jìn)的正文：圖：概括技術(shù)性優(yōu)化的關(guān)鍵點(diǎn)

02  改進(jìn)優(yōu)化方案

01 基礎(chǔ)鏈路的改進(jìn)優(yōu)化 

1、DNS 優(yōu)化調(diào)整

DNS 的解析改為 HTTPDNS，DNS 的改進(jìn)上線后觀察初始連接請(qǐng)求提升 17% 的效率。

解決域名劫持問(wèn)題 （東南亞地區(qū)回傳的數(shù)據(jù)顯示有不少劫持）

解決 LocalDNS 非就近分配問(wèn)題

結(jié)合業(yè)務(wù)可以做解析預(yù)熱。

2、傳輸層的優(yōu)化調(diào)整? 

MTU 的問(wèn)題  

• Client 端和 Server 端不同的 MTU 值會(huì)導(dǎo)致丟包率過(guò)高。AWS 某些場(chǎng)景實(shí)例默認(rèn)巨型幀：MTU 是 9001，但接收端默認(rèn) 1500，這時(shí)候就會(huì)出現(xiàn)一些丟包的現(xiàn)象。
• 如果你用了多個(gè)云商服務(wù)，用 VPN 組網(wǎng)，IP隧道封裝的數(shù)據(jù)臨界 1500，又會(huì)造成丟包、包重傳問(wèn)題。
• 最嚴(yán)重的情況：部分網(wǎng)絡(luò)封殺 ICMP 協(xié)議，導(dǎo)致 MTU 無(wú)法自動(dòng)協(xié)商?

TCP 層面的優(yōu)化  

TCP 擁塞控制優(yōu)化?

擁塞窗口 CongWin 是未接收到接收端確認(rèn)情況下連續(xù)發(fā)送的字節(jié)數(shù);  CongWin 是動(dòng)態(tài)調(diào)整，取決于帶寬和延遲的積，比如 100MB 的帶寬 100ms 的延遲環(huán)境。時(shí)延帶寬積 = 100Mbps*100ms = (100/8)*(100/1000) = 1.25MB理論上 CongWin 窗口可以最大化到 1.25MB。CentOS 默認(rèn)CongWin = 20*MSS，在 29KB 左右，離上限 1.26MB 差太多了，默認(rèn)值上調(diào)TCP的啟動(dòng)會(huì)更快。

TCP 快速打開(kāi) (TCP Fast Open：TFO)?

TCP 的 keepalive 下依然會(huì)有鏈接斷掉重建的情況，TFO 是針對(duì)這種情況的優(yōu)化。圖：TFO 的原理機(jī)制

在我們觀察中開(kāi)啟 TFO 機(jī)制，海外業(yè)務(wù)一個(gè) RTT 通常時(shí)間在 100ms 以上，HTTP 請(qǐng)求效率提升了 12% 左右。

02 應(yīng)用層的改進(jìn)優(yōu)化 

1、HTTP 的優(yōu)化

?HTTP1.1 有個(gè) keep-alive 作用是復(fù)用 TCP 鏈接，減少新建的消耗，對(duì)于瀏覽器的業(yè)務(wù)比較適用，但對(duì)于移動(dòng)端這種時(shí)間分散的請(qǐng)求，大部分請(qǐng)求還是新建連接。HTTP1.1 的串行機(jī)制有頭部阻塞的問(wèn)題

2、SSL 層優(yōu)化

盡量升級(jí)到 TLS1.3，利用 Pre-shared Key 機(jī)制，開(kāi)啟 ssl_early_data 可以進(jìn)一步優(yōu)化 “0-RTT ”，如果無(wú)法升級(jí) TLS 版本，優(yōu)化密鑰算法為 ECDHE，運(yùn)算速度快，握手的消息往返由 2-RTT 減少到 1-RTT，能達(dá)到與 TLS1.3 類(lèi)似的效果。圖：TLS 版本的區(qū)別

TLS1.3 經(jīng)過(guò)優(yōu)化后，一個(gè) HTTP 請(qǐng)求由之前的 4 個(gè) RTT 減少為 3 個(gè) RTT。

3、升級(jí) HTTP2.0

?幾個(gè)重要的改進(jìn)點(diǎn)：分幀傳輸、多路復(fù)用、頭部壓縮。 

多路復(fù)用 

在 HTTP/2 中，兩個(gè)非常重要的概念：幀（frame）和流（stream）。幀代表著最小的數(shù)據(jù)單位，每個(gè)幀會(huì)標(biāo)識(shí)出該幀屬于哪個(gè)流，流也就是多個(gè)幀組成的數(shù)據(jù)流。多路復(fù)用，就是在一個(gè) TCP 連接中可以存在多條流。這些改進(jìn)可以避免 HTTP 隊(duì)頭阻塞問(wèn)題，提高傳輸性能。 

頭部壓縮 

開(kāi)發(fā)人員如果不注意對(duì) header 內(nèi)容的控制，會(huì)造成 header 內(nèi)容失控的現(xiàn)象，客戶端極容易存儲(chǔ)一個(gè)非常大的 Cookie圖：HTTP2 的分幀傳輸機(jī)制

4、邊緣節(jié)點(diǎn)動(dòng)態(tài)加速 這個(gè)是非常有效的方式

?盡可能離用戶最近，利用邊緣節(jié)點(diǎn)對(duì)路由、鏈路進(jìn)行優(yōu)化，提高動(dòng)態(tài)服務(wù)的效率。相較于直連模式，使用動(dòng)態(tài)加速后，P90 的接口延遲效率提升了 60%。

圖：愛(ài)奇藝海外動(dòng)態(tài)加速的效果提升

5、啟用兜底機(jī)制 

?對(duì)于失敗的請(qǐng)求，啟用兜底的協(xié)議 QUIC 或者 kcp。客戶端的失敗率在 3% 左右，對(duì)這部分請(qǐng)求使用 UDP 協(xié)議兜底嘗試，在我們的觀察成功率提升了 45%。

 03 傳輸內(nèi)容的優(yōu)化 

1.應(yīng)用 Brotli?

因?yàn)轭A(yù)置了字典，在同等級(jí)別的壓縮率下，對(duì)比 gzip 至少提升了 17% 的壓縮比，接口平均的 Content-Size 由 30KB，降至 18KB。

2.接口由 JSON 改為 Google Protobuf?

應(yīng)用 Protobuf 的重要原因是解析效率比 JSON 至少高四五倍，在節(jié)點(diǎn)深度和數(shù)據(jù)量大的情況下更明顯。但注意 Protobuf 內(nèi)部的 varint 壓縮，只對(duì)小于 128 的數(shù)字進(jìn)行可變長(zhǎng)壓縮。實(shí)際效果不大，生產(chǎn)環(huán)境如果數(shù)據(jù)量大，外層的壓縮如 gzip 不可少。

3.圖片格式升級(jí)為 WebP?

在應(yīng)用 WebP 的同時(shí)，降低海報(bào)圖片的質(zhì)量，實(shí)踐看海報(bào)的 quality 設(shè)置為 85% 肉眼難以分辨，相對(duì)同質(zhì)量的 JPEG 或者 PNG ，可以最大減小 45% 的體積。應(yīng)用效果明顯。App 打開(kāi)首頁(yè)圖片的加載提升肉眼可見(jiàn)。

04 業(yè)務(wù)層面的優(yōu)化改進(jìn) 

1.減少不必要請(qǐng)求：

?一些通用內(nèi)容，如導(dǎo)航、頻道，通常由運(yùn)營(yíng)人員主動(dòng)更新。如下圖，增加一個(gè)啟動(dòng)階段請(qǐng)求的接口，里面放入內(nèi)容更新的時(shí)間戳，與本地 cache 的時(shí)間戳有差異，則異步請(qǐng)求更新。

?

2.區(qū)別用戶網(wǎng)絡(luò)，適應(yīng)不同的策略。?

對(duì)于視頻，非 WiFi 默認(rèn)啟播碼率為 360P。對(duì)于海報(bào)，后端接口提供兩種質(zhì)量的 Url，WiFi 高質(zhì)，4G 低質(zhì)。

3.更多的業(yè)務(wù)優(yōu)化

?增加請(qǐng)求重試、調(diào)整 HTTP 的超時(shí)時(shí)間，請(qǐng)求緩存等等  這些可以根據(jù)業(yè)務(wù)的需求進(jìn)行調(diào)整。

03 結(jié)尾

愛(ài)奇藝海外版經(jīng)過(guò)一系列細(xì)節(jié)優(yōu)化，用戶體驗(yàn)持續(xù)上升。用戶接口延遲、客戶端失敗率、視頻播放成功率一系列的關(guān)鍵指標(biāo)得到很大的改善。這也助力愛(ài)奇藝在東南亞多個(gè)國(guó)家的應(yīng)用市場(chǎng)排名升至 TOP 1。另外 App 優(yōu)化、Server 延遲優(yōu)化、產(chǎn)品體驗(yàn)的改進(jìn)，這一系列只有相輔相成才可以最大化提升用戶體驗(yàn)。?