GTA5 是一款經典的 3D 冒險游戲，它的畫風是這樣的：

畫面接近真實，但少了一些質感......

近日，來自英特爾的研究者給 GTA 做了一個畫質增強補丁，先來看下效果：

左為 GTA 中的 3D 渲染圖，右為英特爾新模型生成結果。

效果很不錯，下面這一張畫質增強的效果就更明顯了，該模型處理后的畫面宛如相機實拍：

在 3D 渲染領域，實時和真實感是兩個關鍵要素。通常照片級渲染引擎處理單幀可能就要花費幾分鐘甚至幾小時，而英特爾的新系統則能夠以相對較高的幀速率處理圖像。并且研究者表示，他們還將進一步優化該深度學習模型以更快地工作。那么英特爾這個圖像增強補丁是如何實現的呢？我們來看一下具體的技術細節。

論文地址：
https://arxiv.org/abs/2105.04619

項目地址：
https://github.com/intel-isl/PhotorealismEnhancement

方法與架構

如下圖所示，該系統由幾個相互連接的神經網絡組成。

G-buffer 編碼器將不同的渲染圖轉換為一組數字特征。多個 G-buffer 分別用作表面法線信息、深度、反照率、光澤度、大氣和目標分割的渲染圖。系統中的神經網絡使用卷積層來處理這些信息，并輸出一個包含 128 個特征的向量，以提升圖像增強網絡的性能，并避免像其他類似技術一樣產生偽影。G-buffer 可以直接從游戲引擎獲得。

圖像增強網絡將游戲的渲染幀和來自 G-buffer 編碼器的特征作為輸入，生成逼真版的圖像。鑒別器和 LPIPS 損失函數和其他組件則在訓練期間使用。研究者通過評估生成圖像與原始游戲渲染幀的一致性和比較生成圖像與真實圖像的逼真質量來給該增強網絡的輸出評級。

圖像增強的推斷成本

如果該技術可用，游戲玩家是否能夠在他們的計算機上運行它？探究這個問題首先需要計算推斷成本，或者計算運行經過訓練的模型所需內存量和算力。計算推斷成本只需要 G-buffer 編碼器和圖像增強網絡，在此可以省去鑒別器網絡。

研究者在論文中介紹，增強網絡是基于 HRNetV2 的神經網絡，HRNetV2 是一種用于處理高分辨率圖像的深度學習架構。高分辨率神經網絡產生的視覺偽影比對圖像進行下采樣的模型要少一些。HRNet 通過以不同分辨率運行的多個分支來處理圖像。其中較為重要的是，有一個特征流會保持相對較高的分辨率（輸入分辨率的 1/4），以保留精細的圖像結構。

這意味著如果以全高清 (1920×1080) 的分辨率運行游戲，那么最頂行的層（top row layer）將以 480×270 像素處理輸入。接下來每低一行，分辨率減半。研究者改變了該神經網絡中每個塊的結構，以計算來自 G-buffer 編碼器（RAD 層）的輸入。

G-buffer 的輸入包括材料信息的 one-hot 編碼，法線、深度和顏色的密集連續值（dense continuous values for normal）、以及光暈和天空 buffer 的稀疏連續信息。此外，該模型在 G-buffer 的子集上仍然表現良好。

那么，該模型需要多少內存呢？該研究的論文并沒有說明內存大小，但根據 HRNetV2 的論文，完整網絡需要 1.79 GB 的內存才能用于 1024×2048 的輸入。英特爾使用的圖像增強網絡具有較小的輸入尺寸，但還需要考慮 RAD 層和 G-buffer 編碼器引入的額外參數。因此，假設您至少需要 1 GB 的視頻內存來為全高清游戲運行基于深度學習的圖像增強，如果您想要 4K 的分辨率，那么內存可能需要超過 2 GB。

游戲計算機通常具有 4-8 GB VRAM 的顯卡，因此需要 1 GB 的內存并不算多。而像 GeForce RTX 系列的高端顯卡則可以擁有高達 24 GB 的 VRAM。

但同樣值得注意的是，3D 游戲會消耗大量顯卡資源。游戲會在視頻內存上存儲盡可能多的數據，以加快渲染速度，并避免在 RAM 和 VRAM 之間進行交換，而這種操作會導致巨大的速度損失。據估計，《俠盜獵車手 5》在全高清分辨率下消耗高達 3.5 GB 的 VRAM。而賽博朋克 2077 等新興游戲擁有更大的 3D 世界和更細致的畫面對象，輕松就可以占用高達 7-8 GB 的 VRAM，如果想以更高的分辨率播放，則需要更多內存。

因此基本上，當前的中高端顯卡讓用戶不得不在低分辨率高真實感和高分辨率合成圖形之間進行選擇。不過，內存使用并不是基于深度學習的圖像增強面臨的唯一問題。

非線性處理引起的延遲

一個更大的問題是深度學習操作的連續和非線性屬性。要理解這個問題，我們首先要使用深度學習推斷進行 3D 圖形比較。三維圖形依賴大量的矩陣乘法。3D 圖形的渲染幀從一組頂點開始，每個頂點用一組數字表示，這些數字代表 3D 對象上點的屬性，包括坐標、顏色、材質、法線方向等。

在渲染每一幀前，頂點必須經過一系列矩陣乘法，以將頂點的的局部坐標映射到世界坐標、相機空間坐標、圖像幀坐標。索引緩沖區將頂點捆綁成三個一組以形成三角形。這些三角形被光柵化——或轉換成像素——然后每個像素通過它自己的一組矩陣操作，根據材質顏色、紋理、反射和折射圖、透明度級別等來確定它的顏色。

3D 渲染 pipeline，圖源：LearnEveryone

這聽起來似乎要進行很多操作，尤其是現在的 3D 游戲是由數百萬個多邊形組成的。在計算機上玩游戲時能夠獲得非常高的幀率實際上有兩個原因。首先，顯卡專為并行矩陣乘法而設計。與 CPU 最多只有幾十個計算內核不同，圖形處理器有數千個內核，每個內核都可以獨立執行矩陣乘法。

其次，圖形變換大多是線性的，而多個線性變換可以綁定在一起。例如將分別用于世界、視圖和投影變換的 3 個矩陣相乘以創建一個能夠執行這三個操作的矩陣，操作量將減少三分之二。

類似的，深度學習也依賴于矩陣乘法，每個神經網絡都由層層矩陣計算組成，這也是顯卡在深度學習社區越來越流行的原因。

但與 3D 圖形不同的是，深度學習的操作不能組合。神經網絡中的層依靠非線性激活函數來執行復雜的任務。基本上，這意味著您無法將多個層的轉換操作壓縮為單個操作。

例如，假設有一個以 100×100 像素的圖像（10000 個特征）作為輸入的深度神經網絡，該網絡用七個層處理圖像。此時具有數千個內核的顯卡也許能夠并行處理所有像素，但是仍然需要依次執行七層神經網絡的操作，這使得它很難提供實時圖像處理，尤其是在低端顯卡上。

因此，一個必須要考慮的瓶頸是必要的順序操作數量。英特爾該模型的圖像增強網絡的頂層有 16 個按順序鏈接的殘差塊。在每個殘差塊中有兩個卷積層、RAD 塊和 ReLU 操作依次連接。這相當于 96 層順序操作。在 G-buffer 編碼器輸出其特征編碼之前，圖像增強網絡無法開始其操作。因此必須至少添加處理第一組高分辨率特征的兩個殘差塊，序列中又增加了 8 層，這使得用于圖像增強的操作至少有 108 層。

英特爾該模型的圖像增強網絡。

這意味著除了內存之外，你還需要高頻率的處理器來運行這些操作。在英特爾的論文中我們看到了這樣有趣的說法：「使用我們的方法在推理過程中未優化的應用人物需花費一塊 GeForce RTX 3090 GPU 半秒時間。」

RTX 3090 具有 24 GB 的顯存，這意味著緩慢的 2 FPS 渲染速率不是由于內存限制，而是由于順序處理圖像增強器網絡的所有層所需的時間。這不是一個可以通過添加更多內存或 CUDA 核來解決的問題，只能指望處理器的頻率更快才能解決。

論文中這樣寫道「用于輸入的 G-buffer 是在 GPU 本地生成的，我們的方法若與游戲引擎深度整合，可以提高效率，可能也會帶來更高的真實化效果。」

將圖像增強器網絡集成到游戲引擎中可能會大大提高速度，但目前看來仍然無法帶來可玩的幀率。

相比之下，我們在 HRNet 的論文中可以看到研究人員使用了英偉達 V100，這是一種昂貴的專業級 GPU，專門為深度學習的推理和訓練設計。由于沒有內存限制和其他游戲內容計算的阻礙，V100 的推理時間為每張輸入 150 毫秒，約為 7 fps，這不足以帶來流暢的游戲畫面（電影是 24 幀，PS4 標準版是 30 幀）。

開發和訓練神經網絡

另一個復雜的問題是開發和訓練圖像增強神經網絡的成本。想要引入深度學習技術的游戲公司都會面臨三座大山的考驗：數據、計算資源和機器學習人才。

構建數據集是個大問題，但幸運的是英特爾已經想辦法把問題解決了。他們在訓練模型時引入了 Cityscapes 數據集，其中收集了德國 50 座城市的帶注釋街景圖像，精細標注過的圖片數量達到了 5000 張。根據數據集的論文，每張帶注釋的圖像平均需要一個半小時的人工操作來精確指定圖像中包含的對象，及其邊界和類型。這些細粒度的注釋使圖像增強器能夠將正確的逼真紋理映射到游戲圖形上。

Cityscapes 是政府撥款、商業公司和學術機構大力支持的成果，如果是應用在其他城市環境的游戲中，或許也能獲得不錯的效果。

Cityscapes 數據集中對于人物和街景物體的精細分割。

實驗結果

研究者將該方法與其他多個圖像轉換模型對比了生成效果，結果如下表所示：

并進行了對照實驗來評估該方法中一些特定設計思路的影響，包括采樣策略、G-buffer 的作用等，實驗結果如下表所示：

此外，相比于其他模型，英特爾的新模型在視覺效果上具有顯著優勢，例如 CUT 模型生成的畫面中存在一些偽影，而英特爾的新模型以較小的圖塊進行采樣，減少了源數據集和目標數據集之間的不匹配，很好地避免了產生偽影的問題：

‍

擴展‍到其他游戲

如果要給《古墓麗影》做真實化怎么辦？這可能就需要游戲開發者來自己收集圖像，然后打標簽了。

計算資源也構成了一個挑戰。用幾千美元訓練一個用于圖像增強的神經網絡是可以接受的——對于大游戲公司來說不是問題。但如果你想要做一些生成性人物，例如照片級圖像增強時，訓練就變得富有挑戰性了。它需要人們對超參數進行大量的測試和調整，訓練很多步，這會導致成本的激增。英特爾為 GTA 5 訓練了模型，其他游戲公司或許可以在不同游戲中借鑒這一經驗以減少成本。但類型差別較大的游戲就只能從頭開始訓練了。英特爾的深度學習模型適用于城市環境，其中景物和人物分隔明顯。但如果在自然環境如森林和洞穴里，情況可能會有所不同。

大多數游戲公司還沒有招募機器學習工程師，因此他們需要招募人才，或者外包任務——而即使這樣做了，我們也不能百分之百保證「真實風格的畫面」可以帶來更好的游戲體驗。

英特爾寫實風格的圖像增強技術向我們展示了機器學習算法的一個全新應用方向，但在算力、游戲公司準備好，玩家真正接受之前，我們距離看到真正的落地可能還有一段時間。