iOS直播類APP開發(fā)流程解析（內(nèi)附源碼詳解）

作者：小迷糊 2018-05-13 16:00:22

個(gè)人認(rèn)為要想把直播從零開始做出來，絕對(duì)是牛逼中的牛逼，大牛中的大牛，因?yàn)橹辈ブ羞\(yùn)用到的技術(shù)難點(diǎn)非常之多，視頻/音頻處理，圖形處理，視頻/音頻壓縮，CDN分發(fā)，即時(shí)通訊等技術(shù)，每一個(gè)技術(shù)都?jí)驅(qū)W幾年的。

前言

如果你有更好的建議或者對(duì)這篇文章有不滿的地方, 請(qǐng)聯(lián)系我, 我會(huì)進(jìn)行修改,
祝大家學(xué)習(xí)愉快~謝謝~
一個(gè)完整直播APP原理

把主播錄制的視頻，推送到服務(wù)器，在由服務(wù)器分發(fā)給觀眾觀看。

推流端(采集、美顏處理、編碼、推流)、服務(wù)端處理(轉(zhuǎn)碼、錄制、截圖、鑒黃)、播放器(拉流、解碼、渲染)、互動(dòng)系統(tǒng)(聊天室、禮物系統(tǒng)、贊)

一個(gè)完整直播APP實(shí)現(xiàn)流程

1.采集視頻、音頻

AVFoundation:是用來播放和創(chuàng)建實(shí)時(shí)的視聽媒體數(shù)據(jù)的框架，同時(shí)提供Objective-C接口來操作這些視聽數(shù)據(jù)，比如編輯，旋轉(zhuǎn)，重編碼

CCD:圖像傳感器： 用于圖像采集和處理的過程，把圖像轉(zhuǎn)換成電信號(hào)。
拾音器:聲音傳感器： 用于聲音采集和處理的過程，把聲音轉(zhuǎn)換成電信號(hào)。
音頻采樣數(shù)據(jù):一般都是PCM格式
視頻采樣數(shù)據(jù): 一般都是YUV,或RGB格式，采集到的原始音視頻的體積是非常大的，需要經(jīng)過壓縮技術(shù)處理來提高傳輸效率

2.視頻處理(美顏，水印)

視頻處理原理:因?yàn)橐曨l最終也是通過GPU，一幀一幀渲染到屏幕上的，所以我們可以利用OpenGL ES，對(duì)視頻幀進(jìn)行各種加工，從而視頻各種不同的效果，就好像一個(gè)水龍頭流出的水，經(jīng)過若干節(jié)管道，然后流向不同的目標(biāo)。

現(xiàn)在的各種美顏和視頻添加特效的app都是利用GPUImage這個(gè)框架實(shí)現(xiàn)的。

視頻處理的框架

GPUImage : GPUImage是一個(gè)基于OpenGL ES的一個(gè)強(qiáng)大的圖像/視頻處理框架,封裝好了各種濾鏡同時(shí)也可以編寫自定義的濾鏡,其本身內(nèi)置了多達(dá)120多種常見的濾鏡效果。
OpenGL:OpenGL(全寫Open Graphics Library)是個(gè)定義了一個(gè)跨編程語言、跨平臺(tái)的編程接口的規(guī)格，它用于三維圖象(二維的亦可)。OpenGL是個(gè)專業(yè)的圖形程序接口，是一個(gè)功能強(qiáng)大，調(diào)用方便的底層圖形庫。
OpenGL ES:OpenGL ES (OpenGL for Embedded Systems) 是 OpenGL三維圖形 API 的子集，針對(duì)手機(jī)、PDA和游戲主機(jī)等嵌入式設(shè)備而設(shè)計(jì)。

3.音視頻編碼解碼

視頻壓縮編碼標(biāo)準(zhǔn)：對(duì)視頻進(jìn)行壓縮(視頻編碼)或者解壓縮(視頻解碼)的編碼技術(shù),比如MPEG，H.264,這些視頻編碼技術(shù)是壓縮編碼視頻的
MPEG:一種視頻壓縮方式，它采用了幀間壓縮，僅存儲(chǔ)連續(xù)幀之間有差別的地方，從而達(dá)到較大的壓縮比
H.264/AVC:一種視頻壓縮方式,采用事先預(yù)測(cè)和與MPEG中的P-B幀一樣的幀預(yù)測(cè)方法壓縮，它可以根據(jù)需要產(chǎn)生適合網(wǎng)絡(luò)情況傳輸?shù)囊曨l流,還有更高的壓縮比，有更好的圖象質(zhì)量
H.265/HEVC:一種視頻壓縮方式,基于H.264，保留原來的某些技術(shù)，同時(shí)對(duì)一些相關(guān)的技術(shù)加以改進(jìn)，以改善碼流、編碼質(zhì)量、延時(shí)和算法復(fù)雜度之間的關(guān)系，達(dá)到最優(yōu)化設(shè)置。

音頻編碼技術(shù)

AAC，mp3：這些屬于音頻編碼技術(shù),壓縮音頻用

碼率控制

多碼率:觀眾所處的網(wǎng)絡(luò)情況是非常復(fù)雜的，有可能是WiFi，有可能4G、3G、甚至2G，那么怎么滿足多方需求呢?多搞幾條線路，根據(jù)當(dāng)前網(wǎng)絡(luò)環(huán)境自定義碼率。

視頻封裝格式

TS : 一種流媒體封裝格式，流媒體封裝有一個(gè)好處，就是不需要加載索引再播放，大大減少了首次載入的延遲，如果片子比較長(zhǎng)，mp4文件的索引相當(dāng)大，影響用戶體驗(yàn)
FLV: 一種流媒體封裝格式,由于它形成的文件極小、加載速度極快，使得網(wǎng)絡(luò)觀看視頻文件成為可能,因此FLV格式成為了當(dāng)今主流視頻格式

4.推流

推流，就是將采集到的音頻，視頻數(shù)據(jù)通過流媒體協(xié)議發(fā)送到流媒體服務(wù)器。

選擇流媒體協(xié)議

現(xiàn)在直播應(yīng)用，采用RTMP協(xié)議居多，也有部分使用HLS協(xié)議。

采用RTMP協(xié)議，就要看下它與流媒體服務(wù)器交互的過程，RTMP協(xié)議的默認(rèn)端口是1935，采用TCP協(xié)議。并且需要了解FLV的封裝格式。

采用HLS協(xié)議，因?yàn)樯婕暗角衅訒r(shí)會(huì)比較大，需要了解TS流。

采集音視頻數(shù)據(jù)

做直播，數(shù)據(jù)的來源不可缺少，就是采集攝像頭，麥克風(fēng)的數(shù)據(jù)。

iOS平臺(tái)上采集音視頻數(shù)據(jù)，需要使用AVFoundation.Framework框架，從captureSession會(huì)話的回調(diào)中獲取音頻，視頻數(shù)據(jù)。

5.流媒體服務(wù)器

常用服務(wù)器

SRS：一款國(guó)人開發(fā)的優(yōu)秀開源流媒體服務(wù)器系統(tǒng)
BMS:也是一款流媒體服務(wù)器系統(tǒng)，但不開源，是SRS的商業(yè)版，比SRS功能更多
nginx:免費(fèi)開源web服務(wù)器，常用來配置流媒體服務(wù)器

6.拉流

直播協(xié)議選擇:

即時(shí)性要求較高或有互動(dòng)需求的可以采用RTMP,RTSP
對(duì)于有回放或跨平臺(tái)需求的，推薦使用HLS

HLS:由Apple公司定義的用于實(shí)時(shí)流傳輸?shù)膮f(xié)議,HLS基于HTTP協(xié)議實(shí)現(xiàn)，傳輸內(nèi)容包括兩部分，一是M3U8描述文件，二是TS媒體文件。可實(shí)現(xiàn)流媒體的直播和點(diǎn)播，主要應(yīng)用在iOS系統(tǒng)

7.解碼

使用相關(guān)硬件或軟件對(duì)接收到的編碼后的音視頻數(shù)據(jù)進(jìn)行解碼，得到可以直接顯示的圖像/聲音

涉及技術(shù)或協(xié)議：