1.5K star量，上古老番變4K，B站開源超分辨率算法
喜歡看動漫的人經常會被一些經典作品的情節所吸引，不過畫面質量是欣賞下去的大敵 —— 那些超過十年歷史的內容自不必說，直到現在，很多動畫的實際分辨率也只是 720p 左右，然后被拉伸到 1080i 以滿足電視臺播放的需求，BD（藍光）清晰度也只有 1080p。
究其原因，還是成本問題：在動畫制作過程中，讓分辨率提升一個級別，就會導致所有的制作資源大幅提升，從作畫、掃描到處理和存儲，整個產業鏈條都需要軟硬件的提升。
但今天即使是手機也有個 2K 的分辨率，既然手繪動畫難以提升分辨率，那么能不能用 AI 算法來解決這個問題？
最近，GitHub 上一個圖像超分辨率的項目火了，一個叫做 Real-CUGAN 的工具可以把動畫圖像的質量提升 2 到 4 倍，qq 上斗圖的表情包也能給你腦補成 4k 品質。
仔細一看，這個項目來自 bilibili 人工智能實驗室。上線 20 天，star 量已達 1.5K。
項目鏈接：https://github.com/bilibili/ailab/tree/main/Real-CUGAN
據作者介紹，Real-CUGAN 是一個使用百萬級動漫數據進行訓練的，結構與 Waifu2x 兼容的通用動漫圖像超分辨率模型。相比目前市面上已有的通用化超分辨率算法，Real-CUGAN 的 AI 模型經過了更大體量數據集的訓練，處理二次元內容的效果更佳。
它支持 2x\3x\4x 倍超分辨率，其中 2 倍模型支持 4 種降噪強度與保守修復，3 倍 / 4 倍模型支持 2 種降噪強度與保守修復。
Real-CUGAN 全稱為 Real Cascaded-U-Net-style Generative Adversarial Networks（真實的、級聯 U-Net 風格的生成對抗網絡），使用了與 Waifu2x 相同的動漫網絡結構，但因為使用了新的訓練數據與訓練方法，從而形成了不同的參數。
具體來說，該動漫超分模型訓練先行對動漫幀進行切塊處理，使用圖像質量打分模型對候選塊進行打分過濾，得到一個百萬級的高質量動漫圖像塊訓練集。然后使用多階段降質算法，將高清圖像塊降采樣得到低質圖像，讓 AI 模型學習、優化從低質圖像到高質圖像的重建過程，訓練完畢后即可對真實的二次元低質圖像進行高清化處理。
在 GitHub 項目中，作者開源了推理階段的模型參數與推理代碼。
下面，我們來看一下 Real-CUGAN 的修復效果。
圖源：https://github.com/bilibili/ailab/tree/main/Real-CUGAN
為了進一步查看幾種修復方法的差距，研究團隊將 Real-CUGAN 的修復效果和 Waifu2x、RealESRGAN 進行比較。
下圖是動漫《偵探已死》中的畫面，其中幾種方法對沙發紋理的修復差距顯著。可以看到，在 Real-CUGAN 的修復結果中，沙發上的橫向條紋清晰可見，并且幾乎沒有中斷的部分：
在動漫中，人物清晰的線條對角色形象的塑造具有重要的作用。線條模糊會嚴重影響觀看體驗。以下圖為例，Real-CUGAN 清晰地修復了動漫中角色的表情線條：
當然，有些場景并非越清晰越好，比如畫面中的一些遠景，原本就是刻意虛化的。以下圖為例，Real-CUGAN 修復之后，近景處的人物形象變得更清晰，遠處的蠟燭仍然保持模糊，使得畫面更有層次感。
還有一些動漫由于年代久遠，受當時技術條件的限制，畫質著實「感人」。例如許多人的童年回憶《黑貓警長》，先前的模型 RealESRGAN（下圖第三列）已獲得了不錯的修復效果。相比之下 Real-CUGAN（下圖第四列）更好地修復了一些雜線、模糊的問題，讓畫面更加干凈清晰。
更為重要的是這項技術想要用很簡單：你下載的模型已訓練好，修改 config.py 配置參數，雙擊 go.bat 運行即可。Real-CUGAN 不僅可用 cuda 加速，也支持 AMD 系列的顯卡，處理速度還很快，筆記本電腦也可以跑得起來。
雖然 Real-CUGAN 默認是只處理靜態圖片的，但很多人已嘗試把視頻拆解成單幀序列進行處理。如此一來，很多上古老番都能自己上手讓它們煥然一新了。
目前 B 站上已經有人上傳了一些使用新技術處理過的視頻，比如這個在 1080p BD 基礎上超分到 4K 的： https://b23.tv/gyB517B
在很多電影修復之后，老番高清計劃也已在路上。B 站表示，將針對不同品類適配不同的超分算法，并且使用窄帶高清算法降低卡頓，提高流暢度。
