10月20日Live video Stackcon2017音視頻大會在京舉行，音視頻行業技術精英齊聚一堂，探討2017年這一年里音視頻的技術演進發展以及未來的趨勢。CDN作為音視頻內容分發的重要一環，自然不能缺席，Akamai、網宿、云帆加速等均出席了此次盛會。云帆加速聯合創始人&CTO扶凱在此次大會受邀作了題為《大視頻時代的CDN》的技術分享。

[[207307]]

2017音視頻大會——云帆加速扶凱演講現場

CDN初心還在?

眾所周知，90年代互聯網發展之初，CDN便伴隨著互聯網的發展應運而生，解決了“世界在等待”的局面，這即是CDN最初存在的意義，也是CDN行業誕生的初心——服務于互聯網企業，做互聯網背后的強大支撐。如今視頻行業在直播、VR、4k等技術的更新迭代中出現了爆炸式增長，CDN作為視頻領域的剛需在這個大環境下進入了火拼狀態，藍海市場漸入紅海，各家拼盡全力突圍，CDN價格一降再降，但這背后初心是否還在?視頻企業理想的CDN服務究竟是怎樣的?

[[207308]]

云帆加速聯合創始人&CTO扶凱

扶凱，作為一個擁有15年從業經驗的資深CDN專家，并有著在土豆、音悅臺等多家甲方企業擔任架構師、CTO的履歷。此次分享，結合了他甲方公司和云帆加速的創業經歷從甲乙兩方介紹CDN企業該如何做好視頻企業的技術服務，回歸初心。

視頻企業爆發式增長之煩惱：文件存儲和用戶體驗

視頻企業在爆炸式增長過程中也是不斷經歷曲折，雖然中國視頻技術水平整體已經提升了很多，但根據廣泛的市場調研所知，仍有兩個行業的最重要的“老大難”問題：文件存儲和用戶體驗，而這兩個問題也是關乎視頻企業生死的大事。

首先，文件存儲是視頻網站系統容量最基本也是最關鍵的模塊。隨著UGC的發展，對于大型視頻網站而言，每天都會有海量的文件數據從用戶端上傳至網站上后，轉碼成不同清晰程度, 這時一個視頻會變成多份, 像高清,標清,流暢。這對網站服務器的存儲空間而言，形成了極為嚴峻的挑戰,視頻所需要的存儲空間在快速的上升。

一般而言，文件處理過程涉及層次較多，對文件的分類及定義尤其重要。如下大型視頻網站的文件處理過程：

在存儲方面，扶凱表示用戶上傳的文件會經過轉碼和審核后本身就會生成不同的清晰程度，然后***種轉碼后不同清晰程度的視頻文件, 會存儲在至少3個機房內如A/B/C,這無疑更加大了存儲器的負擔和空間占用,但為了可用性考慮這又是必須的,當任何 A or B or C 的機房異常時都可以有另外的二個機房正常工作, 當存儲三份可以最少保證有二個機房異常時能正常的工作。

扶凱提到在用戶體驗方面，上傳而來的文件, 在后期用戶訪問幾次以后,大數據分析系統會根據這些訪問記錄,將文件定義為冷門文件和熱點文件，然后熱門文件會被推送至邊緣節點以供就近調用，而冷門文件依然存儲在上層服務器中，調用的時候從上層直接調取，另外網站編輯本身也會根據需要給某個文件標記為熱門。

以上提到的存儲體驗一體化解決方案看似***，其實存在著一些問題：邊緣存儲空間可能存在的浪費，有的文件并不一定能訪問到，小運營商或特定地區訪問的性能問題。例如，所有網站新上傳的文件列表中，究竟推多少文件到邊緣?而且對文件訪問而言，本身又具有地域特性，北京網友與上海網友在觀看習慣上絕對會有差異。小運營商也是完全不同,而冷熱文件的定義是算法算出來的，具有普遍性，如同平均值并不能展示地域性的個性化特點，所以會引起大量的上層節點的訪問。

商業CDN回歸初心：專注細節，***限度的提升分發效率

扶凱詳細介紹了商業CDN 加速在這方面的處理方式：首先商業CDN的存在是對超大型視頻網站內容分發上的補充和支持，運行原理則是“用空間換流量，用回源換空間”。所以較之視頻網站，在架構上具有更加分明的層級。

CDN架構中，用戶在就近訪問最邊緣的節點，節點中的存儲空間內的文件服務用戶，過程是用空間換流量，但由于邊緣服務器存儲空間有限，會讓部分冷點文件用回源方式進行重新獲取。商業CDN作為超大型視頻企業內容分發的補充，做為這點,可以補充具有地域特征文件訪問，另外上一層依然使用自己的，更加保證了源站的安全。

定制交換機，EdgeControl用來邏輯處理，Cache軟件用來管理存儲

而CDN單個節點主要是解決存儲和速度的問題，云帆加速定制了ospf交換機用來批量管理、批量配置機房，可以隨時屏蔽宕機機器。

在實際用戶訪問過程中，每個客戶的特性都不一樣，邏輯(需求)也是千奇百怪。所以邊緣節點分成二個部分，EdgeControl用來做邏輯的處理，Cache用來存儲，通過7層 hash將每個文件在節點上只存儲一份。因為只存儲一份, 這時有大量并發的熱點時很容易異常, 所以當熱的請求發過來時, 云帆會使用熱點遷移，云帆加速在技術使用的是隊列，即將URL做成隊列，當URL的 隊列值達到一定的數量會立刻存儲到所有邊緣，提高處理效率。

在Cache處理文件存儲時，并不是整個文件來存儲，而是將文件分割成1M的存儲塊，然后存儲到我們的文件系統。所以整個硬盤的塊存儲都是物理上真實按一塊塊存儲到硬盤上的分塊， 但當用戶的 HTTP 來請求時響應所發出來是一個邏輯的完整的文件。所以這些物理分塊都是安排平均分布在硬盤里進行，帶來的好處分為以下幾方面;

1、當有大量的IO在一個文件上的時候，能保證所有的IO都是一致的;

2、當其中一個硬盤出現故障，只需要去上層重新取這一個硬盤上的文件過來，放在其它盤上，能有效避免宕機，有效提升硬盤數據處理效率，就算“歸國四子”同時公布戀情都能扛得住。

3、即便是某個硬盤宕機了，也不會影響文件的傳輸，云帆加速可以通過回源調取分布在宕機硬盤里存儲模塊，平均分布在其他硬盤里。

4、按需存儲，按需回源，拖動效率高。比如用戶在看戰狼2，按照觀看習慣，片頭和片尾被跳過的幾率是很高的，所以存儲的時候片頭和片尾都會存儲在上層并取下來, 因為沒有訪問，而正片部分存儲在邊緣。

5、進行文件刪除時，因為是將文件分成若干模塊遍布在各個硬盤之中，刪除時也不會占用IO只對文件在內存的記錄中去掉。

另外，扶凱重點提到了云帆加速在文件存儲的一個細節——目錄刷新，也做了一個質的突破。基本上，文件路徑在存儲上一經修改，可立即全網生效，這個在行業內是領先的。而且云帆加速在業務語言上有根據本身接觸的業務做了進一步的優化，客戶可以按照自己的習慣定制業務語言，而這直接大幅度縮減了程序上來回反復的步驟，運維不需要提交工單，直接根據業務語言代碼定位問題所在。

CDN怎樣幫助視頻企業提升用戶體驗?

CDN存在之初就是為了解決“世界在等待”的問題，所以行業需要解決的就是分發效率，盡可能的縮短內容抵達觀眾那一頭所需的時間。

這里就要提到智能調度，而云帆加速調度系統分為：流量調度和邊緣化調度兩個部分。

一般來講，調度都是全局調度，擁有一個調度中心來協調所有的調度請求，但是在實際處理問題的時候發現，這種調度在接收請求很大時，很容易因為動態的請求,需要查詢很多相關系統,所以處理能力低下,而導致調度失敗，用戶請求文件也將無法順利抵達用戶端，用戶將進入持久的等待。所以云帆加速在調度上做了一個新的嘗試，也將調度邊緣化，采取無中心的調度。所有的cache都是調度服務器，有多少cache服務器就有多少調度器。當訪問到調度器上時，調度器會區分出來這是調度請求還是用戶最終訪問請求，然后再根據這個結果來處理，不但302可以這樣調，甚至連DNS都是如此。“為了防止DNS被打死，每一臺機器也都是DNS的服務器。”

同樣在在動態回源的過程中有一個經典的場景，在這個結構里面，邊緣的用戶請求就近的節點，就近的節點回就近的上層源。但有時遇到邊緣節點沒辦法訪問上層的問題。在這種結構內部，任何一個點或者邊緣的點都可以立即切換其它邊緣做為代理上層, 在云帆的架構中所有節點都可以同時作為上層或者下層，不用擔心誰是上層誰是下層，讓文件傳輸路徑暢通無阻，一觸即達。

CDN的未來趨勢

扶凱作為從業15年的業內資深CDN專家，見證過CDN的從無到有的成長。在他眼里，未來CDN的發展勢必會朝向差異化路線發展，比如CDN+P2P的方式。云帆加速與國內外多家知名公司的合作中都有P2P的合作，另一方面云帆在大力推行自己的安全服務比如抗DDOS服務、流量清洗服務、WAF服務,還可以做很多AI的事情，比如自己數據中心機器的連接數,IO占用等信息送到大數據里面學習，自動校驗, 用于自動發現故障和異常等。

扶凱提出，以前大部分人都把CDN當一個靜態的服務，但是其實它是最前端通用的網關接口呢?它離用戶最近，能做的事非常多。相信在未來, 企業會需要更多類似云帆加速針對網絡傳輸所做的細小創新，“精致而美麗”才是CDN企業與客戶長久陪伴的“初心”與追求。