在這個(gè)追求高清畫質(zhì)的時(shí)代，我們對渣畫質(zhì)的容忍度越來越低。

在知乎上搜索「低分辨率」、「渣畫質(zhì)」，會看到一大片諸如「如何補(bǔ)救清晰度低的照片」、「如何拯救渣畫質(zhì)」之類的問題。

那么，將渣到馬賽克級別的畫面秒變高清，是一種怎樣的體驗(yàn)？杜克大學(xué)的研究人員用 AI 算法告訴你。

GitHub 鏈接：https://github.com/adamian98/pulse

 前所未有，「馬賽克」瞬間變高清

杜克大學(xué)的研究人員提出了一種 AI 算法，稱之為 PULSE（Photo Upsampling via Latent Space Exploration，通過潛在空間探索的照片上采樣）。

該算法可以將模糊、無法識別的人臉圖像轉(zhuǎn)換成計(jì)算機(jī)生成的圖像，其細(xì)節(jié)比之前任何時(shí)候都更加精細(xì)、逼真。

根據(jù)輸入的低分辨率圖片，系統(tǒng)會生成一系列高清圖像

如果用以前的方法，想要把一張模糊的「大頭照」變清晰，最多只能將這張照片縮放到原始分辨率的八倍。

但是杜克大學(xué)的團(tuán)隊(duì)提出了一種新的方法，僅在幾秒鐘內(nèi)，就可以把 16x16 像素的低分辨率（Low Resolution，以下簡稱 LR）小圖，放大 64 倍，變成 1024 x 1024 像素的高分辨率（High Resolution，以下簡稱 HR）圖像。

他們的 AI 工具會「想象」出一些原本不存在的特征，即使是原本 LR 照片中無法看到的細(xì)節(jié)，比如毛孔、細(xì)紋、睫毛、頭發(fā)和胡茬等，經(jīng)過其算法處理后，都能看得一清二楚。

來看一個(gè)具體示例：

左圖為原始低分辨率圖像，右圖為系統(tǒng)創(chuàng)建的高清圖像

領(lǐng)導(dǎo)該團(tuán)隊(duì)的杜克大學(xué)計(jì)算機(jī)科學(xué)家辛西婭·魯丁（Cynthia Rudin）說：「以前從來沒有像現(xiàn)在這樣，能用這么少的像素，就創(chuàng)造出擁有大量細(xì)節(jié)的超分辨率圖像。」

在實(shí)際應(yīng)用方向上，論文的共同作者 Sachit Menon 介紹稱：「在這些研究中，我們只是用面部作為概念驗(yàn)證。

但從理論上講，該技術(shù)是通用的，從醫(yī)學(xué)、顯微鏡學(xué)到天文學(xué)和衛(wèi)星圖像，都可以通過該技術(shù)改善畫質(zhì)。」

 打破傳統(tǒng)操作，實(shí)現(xiàn)最佳效果

雖說此前已經(jīng)有很多類似的低清變高清的方法，但能夠達(dá)到像素放大 64 倍級別的，還是業(yè)界首次。

傳統(tǒng)方法：像素匹配，易出 bug

傳統(tǒng)方法處理此類問題時(shí)，一般拿到 LR 圖像后，會「猜測」需要多少額外的像素，然后試著將此前處理過的 HR 圖像中相應(yīng)的像素，匹配給 LR 圖像。

而這種單純匹配像素的結(jié)果是，像頭發(fā)和皮膚的紋理這種區(qū)域，會出現(xiàn)像素匹配錯(cuò)位的現(xiàn)象。

而且該方法還會忽略了 HR 圖像中，感光性等感知細(xì)節(jié)。所以最終在平滑度、感光度上出現(xiàn)問題，結(jié)果依然會顯得模糊或者不真實(shí)。

之前的一些方法，部分生成結(jié)果有點(diǎn)詭異

 新方法：低清圖像「連連看」 

杜克大學(xué)的團(tuán)隊(duì)則提出的新方法，可以說是開辟了新的思路。

在拿到一張 LR 圖像后，PULSE 系統(tǒng)不會慢慢添加新的細(xì)節(jié)，而是遍歷 AI 生成的 HR 圖像，將這些 HR 圖像對應(yīng)的 LR 圖像與原圖對比，找到最接近的那張。

打個(gè)比方，相當(dāng)于拿 LR 圖片做個(gè)「連連看」，找到最相似的 LR 版本，那么再反推回去，這張 LR 圖像所對應(yīng)的 HR 圖像，就是最終要輸出的結(jié)果。

原始 LR 圖片（上），PULSE 輸出的 HR 圖片（中）

HR 圖片對應(yīng)的 LR 圖（下）

團(tuán)隊(duì)使用了生成對抗網(wǎng)絡(luò)（簡稱 GAN ），它包括對同一張照片數(shù)據(jù)集進(jìn)行訓(xùn)練的兩個(gè)神經(jīng)網(wǎng)絡(luò)，即生成器與鑒別器。

其中，生成器模擬它所受過訓(xùn)練的人臉，提供 AI 創(chuàng)建的人臉，而鑒別器則獲得了該輸出，并確定它是否足以以假亂真。

隨著經(jīng)驗(yàn)的積累，生成器的經(jīng)驗(yàn)會越來越好，直到鑒別器無法分辨出差異。

他們用一些真實(shí)圖像進(jìn)行試驗(yàn)，效果對比如下圖所示：

上排為真實(shí)圖片，中排為將真實(shí)圖片下采樣而來 LR 圖像

下排為 PULSE 根據(jù) LR 圖像生成的 HR 圖像

雖然生成的高分辨率圖與原圖仍有一些差距，但是這比以前的方法要清晰很多。

評估：優(yōu)于其它方法，得分接近真實(shí)照片

團(tuán)隊(duì)在著名的高分辨率人臉數(shù)據(jù)集 CelebA HQ 上評估了其算法，用 64×，32× 和 8× 的比例因子進(jìn)行了這些實(shí)驗(yàn)。

研究人員要求 40 個(gè)人對通過 PULSE 和其他五種縮放方法生成的 1440 張圖像進(jìn)行 1 到 5 的評分，而 PULSE 的效果最佳，得分幾乎與真實(shí)的高質(zhì)量照片一樣高。

HR 為實(shí)際的高清人像數(shù)據(jù)集，得分僅比 PULSE 高 0.14

團(tuán)隊(duì)成員表示，PULSE 可以從嘈雜、低質(zhì)量的輸入中，創(chuàng)建逼真的圖像，即使原圖連眼睛、嘴巴都無法辨認(rèn)。這是其他方法無法做到的。

與其它方法對比，PULSE 將細(xì)節(jié)處理得更為逼真

不過，該系統(tǒng)還不能用于識別身份，研究人員表示：「它無法將安全攝像頭拍攝的失焦、不能識別的照片，變成真人的清晰圖像。它僅會生成不存在但看上去很真實(shí)的新面孔。」

在具體應(yīng)用場景上，除了上文提到的，該技術(shù)未來可能應(yīng)用在醫(yī)學(xué)、天文學(xué)之外，對于大眾來說，擁有這項(xiàng)黑科技之后，就可以把 N 年前的老照片變高清。對于編輯同志們來說，更是一大福音，再也不用為找高清配圖而頭大了。