Android進階之SurfaceView與TextureView詳解
前言
SurfaceView 以及 TextureView 均繼承于 android.view.View，屬于 Android 提供的控件體系的一部分。與普通 View 不同，它們都在獨立的線程中繪制和渲染。所以，相比于普通的 ImageView 它們的性能更高，因此常被用在對繪制的速率要求比較高的應用場景中，用來解決普通 View 因為繪制的時間延遲而帶來的掉幀的問題，比如用作相機預覽、視頻播放的媒介等;
今天我們就來詳細介紹下;
一、Surface 簡介
Surface 就是“表面”的意思，可以簡單理解為內存中的一段繪圖緩沖區。在SDK的文檔中，對Surface的描述是這樣的：“Handle onto a raw buffer that is being managed by the screen compositor”，翻譯成中文就是“由屏幕顯示內容合成器(screen compositor)所管理的原生緩沖器的句柄”，這句話包括下面兩個意思:
- 通過Surface(因為Surface是句柄)就可以獲得原生緩沖器以及其中的內容。就像在C語言中，可以通過一個文件的句柄，就可以獲得文件的內容一樣;
- 原生緩沖器(rawbuffer)是用于保存當前窗口的像素數據的。
- 簡單的說 Surface 對應了一塊屏幕緩沖區，每個Window對應一個Surface，任何View都是畫在Surface上的，傳統的view共享一塊屏幕緩沖區，所有的繪制必須在UI線程中進行我們不能直接操作Surface實例，要通過SurfaceHolder，在SurfaceView中可以通過getHolder()方法獲取到SurfaceHolder實例;
- Surface 是一個用來畫圖形的地方，但是我們知道畫圖都是在一個Canvas對象上面進行的，Surface 中的 Canvas 成員，是專門用于提供畫圖的地方，就像黑板一樣，其中的原始緩沖區是用來保存數據的地方;
- Surface本身的作用類似一個句柄，得到了這個句柄就可以得到其中的Canvas、原始緩沖區以及其他方面的內容，所以簡單的說Surface是用來管理數據的(句柄);
二、SurfaceView應用詳解
1、SurfaceView 介紹
- 簡單的說SurfaceView就是一個有Surface的View里面內嵌了一個專門用于繪制的Surface,SurfaceView 控制這個 Surface 的格式和尺寸以及繪制位置。
- SurfaceView 就是在 Window 上挖一個洞，它就是顯示在這個洞里，其他的View是顯示在Window上，所以View可以顯式在 SurfaceView之上，你也可以添加一些層在SurfaceView之上。
- if (mWindow == null) {
- mWindow = new MyWindow(this);
- mLayout.type = mWindowType;
- mLayout.gravity = Gravity.LEFT|Gravity.TOP;
- mSession.addWithoutInputChannel(mWindow, mWindow.mSeq, mLayout,
- mVisible ? VISIBLE : GONE, mContentInsets);
- }
很明顯，每個SurfaceView創建的時候都會創建一個MyWindow，new MyWindow(this)中的this正是SurfaceView自身，因此將SurfaceView和window綁定在一起，而前面提到過每個window對應一個Surface。
所以SurfaceView也就內嵌了一個自己的Surface，可以認為SurfaceView是來控制Surface的位置和尺寸。傳統View及其派生類的更新只能在UI線程，然而UI線程還同時處理其他交互邏輯，這就無法保證view更新的速度和幀率了，而SurfaceView可以用獨立的線程來進行繪制。
因此可以提供更高的幀率，例如游戲，攝像頭取景等場景就比較適合用SurfaceView來實現。
Surface是縱深排序(Z-ordered)的，這表明它總在自己所在窗口的后面。
Surfaceview提供了一個可見區域，只有在這個可見區域內的Surface部分內容才可見，可見區域外的部分不可見，
所以可以認為SurfaceView就是展示Surface中數據的地方,Surface就是管理數據的地方，SurfaceView就是展示數據的地方，只有通過SurfaceView才能展現Surface中的數據。
- Surface的排版顯示受到視圖層級關系的影響，它的兄弟視圖結點會在頂端顯示。這意味者Surface的內容會被它的兄弟視圖遮擋，這一特性可以用來放置遮蓋物(overlays)(例如，文本和按鈕等控件);
- 注意，如果Surface上面有透明控件，那么它的每次變化都會引起框架重新計算它和頂層控件的透明效果，這會影響性能。surfaceview變得可見時，surface被創建;surfaceview隱藏前，surface被銷毀;
- 這樣能節省資源。如果你要查看surface被創建和銷毀的時機，可以重載surfaceCreated(SurfaceHolder)和surfaceDestroyed(SurfaceHolder);
- SurfaceView的核心在于提供了兩個線程：UI線程和渲染線程,兩個線程通過“雙緩沖”機制來達到高效的界面適時更新。而這個雙緩沖可以理解為，SurfaceView在更新視圖時用到了兩張Canvas，一張frontCanvas和一張backCanvas;
- 每次實際顯示的是frontCanvas，backCanvas存儲的是上一次更改前的視圖，當使用lockCanvas()獲取畫布時，得到的實際上是backCanvas而不是正在顯示的frontCanvas，之后你在獲取到的backCanvas上繪制新視圖，再unlockCanvasAndPost(canvas)此視圖，那么上傳的這張canvas將替換原來的frontCanvas作為新的frontCanvas，原來的frontCanvas將切換到后臺作為backCanvas;
- 如果你已經先后兩次繪制了視圖A和B，那么你再調用lockCanvas()獲取視圖，獲得的將是A而不是正在顯示的B，之后你將重繪的C視圖上傳，那么C將取代B作為新的frontCanvas顯示在SurfaceView上，原來的B則轉換為backCanvas;
- 不用畫布，直接在窗口上進行繪圖叫做無緩沖繪圖。用了一個畫布，將所有內容都先畫到畫布上，在整體繪制到窗口上，就該叫做單緩沖繪圖，那個畫布就是一個緩沖區。用了兩個畫布，一個進行臨時的繪圖，一個進行最終的繪圖，這樣就叫做雙緩沖;
2、SurfaceView 的優缺點
- 一般的Activity包含的多個View會組成View hierachy的樹形結構，只有最頂層的DectorView才是對WMS可見的，這個DecorView在WMS中有一個對應的WindowState，再SurfaceFlinger中有對應的Layer，而SurfaceView正因為它有自己的Surface，有自己的Window，它在WMS中有對應的WindowState，在SurfaceFlinger中有Layer。
- 雖然在App端它仍在View hierachy中，但在Server端(WMS和SurfaceFlinger)中，它與宿主窗口是分離的。這樣的好處是對這個Surface的渲染可以放到單獨的線程中去做，渲染時可以有自己的GL context。
- 因為它不會影響主線程對時間的響應。所以它的優點就是可以在獨立的線程中繪制，不影響主線程，而且使用雙緩沖機制，播放視頻時畫面更順暢。
- 但是這也有缺點，因為這個Surface不在View hierachy中，它的顯示也不受View的屬性控制，所以不能進行平移、縮放等動畫，它也不能放在其它ViewGroup中，SurfaceView不能嵌套使用，而且不能使用某些View的特性，例如View.setAlpha()。
- 從 Android7.0 開始，SurfaceView 的窗口位置與其他 View 渲染同步更新。這意味著在屏幕上平移和縮放 SurfaceView 不會導致渲染失真。
3、SurfaceHolder 簡介
- 顯示一個 Surface 的抽象接口，使你可以控制 Surface 的大小和格式以及在Surface上編輯像素，和監視 Surace 的改變。這個接口通常通過SurfaceView類實現。
- 簡單的說就是我們無法直接操作Surface只能通過SurfaceHolder這個接口來獲取和操作Surface。
- SurfaceHolder中提供了一些lockCanvas():獲取一個Canvas對象，并鎖定之。
- 所得到的Canvas對象，其實就是 Surface 中一個成員。加鎖的目的其實就是為了在繪制的過程中，Surface 中的數據不會被改變。lockCanvas 是為了防止同一時刻多個線程對同一 canvas寫入。
- 從設計模式的角度來看,Surface、SurfaceView、SurfaceHolder實質上就是MVC(Model-View-Controller)，Model就是模型或者說是數據模型，更簡單的可以理解成數據，在這里也就是Surface，View就是視圖，代表用戶交互界面，這里就是 SurfaceView, SurfaceHolder 就是 Controller.
4、SurfaceView簡單應用
SurfaceView 的 getHolder() 方法獲取圖層 (Surface)，它通過接口 SurfaceHolder 提供。當 SurfaceView 所在的窗口可見的時候，圖層 (Surface) 會被創建。你可以通過實現 SurfaceHolder.Callback.surfaceCreated(SurfaceHolder) 和 SurfaceHolder.Callback.surfaceDestroyed(SurfaceHolder) 監聽 Surface 的創建和銷毀事件，并且只能在這兩個方法之間對圖層 (Surface) 進行操作。SurfaceView 和 SurfaceHolder.Callback 的所有方法都會被主線程調用，所以當在子線程中進行繪制的時候，必須妥善進行線程的同步
- class SurfaceViewActivity : CommonActivity<ActivitySurfaceViewBinding>(), SurfaceHolder.Callback {
- private lateinit var camera: Camera
- private lateinit var surfaceView: SurfaceView
- private lateinit var holder: SurfaceHolder
- override fun getLayoutResId(): Int = R.layout.activity_surface_view
- override fun doCreateView(savedInstanceState: Bundle?) {
- surfaceView = SurfaceView(this)
- // Add callback to listen the lifecycle callback for SurfaceView
- holder = surfaceView.holder
- holder.addCallback(this)
- binding.cl.addView(surfaceView)
- }
- override fun surfaceCreated(holder: SurfaceHolder?) {
- camera = Camera.open()
- camera.setPreviewDisplay(holder)
- camera.startPreview()
- }
- override fun surfaceChanged(holder: SurfaceHolder?, format: Int, width: Int, height: Int) {
- // Ignored, Camera does all the work for us
- }
- override fun surfaceDestroyed(holder: SurfaceHolder?) {
- camera.stopPreview()
- camera.release()
- }
- }
SurfaceView 也提供了生命周期的回調接口。當我們只需要從 SurfaceView 上面得到一個 SurfaceHolder 實例然后向其中添加回調即可;
二、TextureView詳解
1、TextureView介紹
- SurfaceView不在主窗口中，它沒法做動畫沒法使用一些View的特性方法，所以在Android 4.0中引入了TextureView，它是一個結合了View和SurfaceTexture的View對象。
- TextureView 在 API 14 中引入，用來展示流，比如視頻和 OpenGL 等的流。這些流可以來自應用進程或者是跨進程的。它只能用在開啟了硬件加速的窗口，否則無法繪制任何內容。與 SurefaceView 不同，TextureView 不會創建一個獨立的窗口，而是像一個普通的 View 一樣。這種區別使得 TextureView 可以移動、轉換和做動畫等，比如你可以使用 TextureView 的 setAlpha() 方法將其設置成半透明的
- 它不會在WMS中單獨創建窗口，而是作為View hierachy中的一個普通view，因此它可以和其他普通View一樣進行平移、旋轉等動畫。但是TextureView必須在硬件加速的窗口中，它顯示的內容流數據可以來自App進程或者遠程進程。
- TextureView 重載了 draw() 方法，其中主要 SurfaceTexture 中收到的圖像數據作為紋理更新到對應的 HardwareLayer 中。
- SurfaceTexture.OnFrameAvailableListener用于通知TextureView內容流有新圖像到來。SurfaceTextureListener接口用于讓TextureView的使用者知道SurfaceTexture已準備好，這樣就可以把SurfaceTexture交給相應的內容源。
- Surface為BufferQueue的Producer接口實現類，使生產者可以通過它的軟件或硬件渲染接口為SurfaceTexture內部的BufferQueue提供graphic buffer。
- SurfaceTexture 可以用作非直接輸出的內容流，這樣就提供二次處理的機會。與SurfaceView直接輸出相比，這樣會有若干幀的延遲。同時，由于它本身管理BufferQueue，因此內存消耗也會稍微大一些。
- TextureView 是一個可以把內容流作為外部紋理輸出在上面的 View, 它本身需要是一個硬件加速層。
TextureView 的使用非常簡單，你只需要獲取到它的 SurfaceTexture. 然后就可以使用它來渲染;
- class TextureViewActivity : CommonActivity<ActivityTextureViewBinding>(), TextureView.SurfaceTextureListener {
- private lateinit var camera: Camera
- private lateinit var textureView: TextureView
- override fun getLayoutResId(): Int = R.layout.activity_texture_view
- override fun doCreateView(savedInstanceState: Bundle?) {
- textureView = TextureView(this)
- // Add callback to listen the lifecycle callback for TextureView
- textureView.surfaceTextureListener = this
- binding.cl.addView(textureView)
- }
- override fun onSurfaceTextureAvailable(surface: SurfaceTexture?, width: Int, height: Int) {
- camera = Camera.open()
- // Add the surface texture to camera
- camera.setPreviewTexture(surface)
- camera.startPreview()
- }
- override fun onSurfaceTextureSizeChanged(surface: SurfaceTexture?, width: Int, height: Int) {
- // Ignored, Camera does all the work for us
- }
- override fun onSurfaceTextureUpdated(surface: SurfaceTexture?) {
- // Invoked every time there's a new Camera preview frame
- }
- override fun onSurfaceTextureDestroyed(surface: SurfaceTexture?): Boolean {
- // Release everything when texture destroyed
- camera.stopPreview()
- camera.release()
- return true
- }
- }
TextureView 的 SurfaceTexture 可以通過 getSurfaceTexture() 方法或者通過 SurfaceTextureListener 獲取到。還有一點很重要的是，SurfaceTexture 只在 TextureView 關聯到窗口并且 onAttachedToWindow() 被觸發的之后可用。因此，強烈建議使用監聽的方式來獲取 SurfaceTexture 可用的通知。
還有一個重要的就是，在同一時刻只能由一個生產者可以使用 TextureView，就是說，當你使用 TextureView 作為相機預覽的時候是無法使用 lockCanvas() 同時在 TextureView 上面進行繪制的。
除了只能在開啟了硬件加速的窗口中使用，TextureView 消費的內存要比 SurfaceView 要多，并伴隨著 1-3 幀的延遲;
2、SurfaceTexture介紹
- SurfaceTexture 是 Surface 和 OpenGL ES(GLES) 紋理的組合。SurfaceTexture 用于提供輸出到 GLES 紋理的 Surface 。
- SurfaceTexture 是從Android 3.0開始加入，與SurfaceView不同的是，它對圖像流的處理并不直接顯示，而是轉為GL外部紋理，因此用于圖像流數據的二次處理。
- 比如 Camera 的預覽數據，變成紋理后可以交給 GLSurfaceView 直接顯示，也可以通過SurfaceTexture 交給TextureView 作為 View heirachy 中的一個硬件加速層來顯示。
- 首先，SurfaceTexture從圖像流 (來自Camera預覽、視頻解碼、GL繪制場景等) 中獲得幀數據，當調用updateTexImage()時，根據內容流中最近的圖像更新 SurfaceTexture 對應的GL紋理對象。
- SurfaceTexture 包含一個應用是其使用方的BufferQueue。當生產方將新的緩沖區排入隊列時，onFrameAvailable() 回調會通知應用。然后，應用調用updateTexImage()，這會釋放先前占有的緩沖區，從隊列中獲取新緩沖區并執行EGL調用，從而使GLES可將此緩沖區作為外部紋理使用。
3、SurfaceView 和 TextureView區別
- SurfaceView 是一個有自己Surface的View。它的渲染可以放在單獨線程而不是主線程中。其缺點是不能做變形和動畫。SurfaceTexture可以用作非直接輸出的內容流，這樣就提供二次處理的機會。
- 與SurfaceView直接輸出相比，這樣會有若干幀的延遲。同時，由于它本身管理BufferQueue，因此內存消耗也會稍微大一些。
- TextureView是一個可以把內容流作為外部紋理輸出在上面的View。它本身需要是一個硬件加速層。事實上TextureView本身也包含了SurfaceTexture。
- 它與SurfaceView+SurfaceTexture組合相比可以完成類似的功能(即把內容流上的圖像轉成紋理，然后輸出)。區別在于TextureView是在View hierachy中做繪制，因此一般它是在主線程上做的(在Android 5.0引入渲染線程后，它是在渲染線程中做的)。
- 而SurfaceView+SurfaceTexture在單獨的Surface上做繪制，可以是用戶提供的線程，而不是系統的主線程或是渲染線程。
- 與 SurfaceView 相比，TextureView 具有更出色的 Alpha 版和旋轉處理能力，但在視頻上以分層方式合成界面元素時，SurfaceView 具有性能方面的優勢。
- 當客戶端使用 SurfaceView 呈現內容時，SurfaceView 會為客戶端提供單獨的合成層。如果設備支持，SurfaceFlinger 會將單獨的層合成為硬件疊加層。
- 當客戶端使用 TextureView 呈現內容時，界面工具包會使用 GPU 將 TextureView 的內容合成到 View 層次結構中。
- 對內容進行的更新可能會導致其他 View 元素重繪，例如，如果其他 View 位于 TextureView 上方。View 呈現完成后，SurfaceFlinger 會合成應用界面層和所有其他層，以便每個可見像素合成兩次。
- 在Android 7.0上系統 Surfaceview 的性能比 TextureView 更有優勢，支持對象的內容位置和包含的應用內容同步更新，平移、縮放不會產生黑邊。在7.0以下系統如果使用場景有動畫效果，可以選擇性使用TextureView。
- 由于失效(invalidation)和緩沖的特性，TextureView增加了額外1~3幀的延遲顯示畫面更新。
- TextureView總是使用GL合成，而SurfaceView可以使用硬件overlay后端，可以占用更少的內存。
- TextureView的內部緩沖隊列導致比SurfaceView使用更多的內存。
- SurfaceView：內部自己持有surface，surface 創建、銷毀、大小改變時系統來處理的，通過surfaceHolder 的callback回調通知。
- 當畫布創建好時，可以將surface綁定到MediaPlayer中。SurfaceView如果為用戶可見的時候，創建SurfaceView的SurfaceHolder用于顯示視頻流解析的幀圖片，如果發現SurfaceView變為用戶不可見的時候，則立即銷毀SurfaceView的SurfaceHolder，以達到節約系統資源的目的
總結：
TextureView 和 SurfaceView 都繼承自 View 類，但是 TextureView 在 Andriod 4.0 之后的 API 中才能使用。SurfaceView 可以通過 SurfaceHolder.addCallback() 方法在子線程中更新 UI;TextureView 則可以通過 TextureView.setSurfaceTextureListener() 在子線程中更新 UI，能夠在子線程中更新 UI 是上述兩控件相比于 View 的最大優勢
