一組神秘的“虛擬老婆”照片，最近在國內(nèi)外社交媒體上傳瘋了。

怎么回事？

試著用手機(jī)掃一下，就能發(fā)現(xiàn)其中的玄機(jī)——

原來這些看起來頗為自然的照片，都是藏了二維碼的圖像。它們不僅能被手機(jī)相機(jī)識(shí)別，跳轉(zhuǎn)的網(wǎng)站還都是有效的：

從推特到Reddit，每隔幾條就能刷出這些二維碼照片，下面全是一片“竟然掃出來了”的驚嘆聲。

最關(guān)鍵的是，這些照片并非手動(dòng)繪制，而是用Stable Diffusion生成的，背后再一次加持了神奇的ControlNet魔法。

生成的二維碼圖像風(fēng)格，也遠(yuǎn)非只有二次元虛擬人像這一種，一起來看看~

8種圖像風(fēng)格任意可選

除了上述的二次元插（lao）畫（po）風(fēng)格以外，作者們還展示了另外8種二維碼圖像的生成效果。

這是立體風(fēng)格的二維碼圖像，看起來就像一張真正的城市照片一般：

有網(wǎng)友感嘆，簡直可以在物理世界中構(gòu)造一個(gè)真的二維碼城市了：

甚至它只能在特定的地點(diǎn)、特定的日子、特定的時(shí)間被掃出來，有尋寶游戲內(nèi)味了。

這類立體作品不僅細(xì)節(jié)可控（如更多的草木植被），還可以改變風(fēng)格，生成更具機(jī)械感的科幻二維碼圖像：

3D城市看得不過癮，還有2D抽象風(fēng)格的作品，數(shù)據(jù)都藏在小房子里了：

除此之外，二維碼還能被融入中國傳統(tǒng)紋樣風(fēng)格中，或是被巧妙放置在瓷器或壁畫一類的裝飾物里：

更具藝術(shù)性的水墨風(fēng)格也能hold住，無縫銜接畫作筆跡：

又或是這種水彩風(fēng)格的畫作：

日式的浮世繪風(fēng)格也沒問題：

還能嵌進(jìn)PCB風(fēng)格圖像里，以后電路板要找售后，直接掃碼就行（doge）：

顯然，除了二維碼圖像可控，模型就連插畫風(fēng)格都能很好地控制。

這背后究竟是依靠什么技術(shù)實(shí)現(xiàn)的？

LoRA和ControlNet齊出動(dòng)

要想實(shí)現(xiàn)這種圖像風(fēng)格+二維碼可控的效果，需要Stable Diffusion結(jié)合LoRA和ControlNet一起實(shí)現(xiàn)。

其中，LoRA負(fù)責(zé)控制整體的圖像風(fēng)格，ControlNet則負(fù)責(zé)確保二維碼“放進(jìn)”了圖像中。

LoRA全稱Low-Rank Adaptation of Large Language Models，能很好地實(shí)現(xiàn)少樣本學(xué)習(xí)，從而對(duì)Stable Diffusion的圖像風(fēng)格生成進(jìn)行更精準(zhǔn)的控制。

換而言之，最少只需要幾十張同種風(fēng)格的圖片，就能訓(xùn)練一個(gè)LoRA，用來調(diào)教Stable Diffusion生成的效果。

目前，比較有特色的如中國傳統(tǒng)風(fēng)格和浮世繪風(fēng)格的圖像，作者們都已經(jīng)在Civitai和Hugging Face等平臺(tái)上開源了對(duì)應(yīng)的LoRA模型。

像浮世繪風(fēng)格LoRA模型，就已經(jīng)可以在Civitai上直接下載：

訓(xùn)練這樣一個(gè)浮世繪風(fēng)格的LoRA模型，并不需要很多照片，像這個(gè)模型就只用了46幅葛飾北齋《富岳三十六景（追加十景）》的浮世繪。

風(fēng)格變化更加多樣的，如生成不同中國傳統(tǒng)紋樣的圖片，也只需要近百張圖片訓(xùn)練：

就可以得到能畫出不同紋樣的LoRA模型：

QR Code ControlNet則是作者們新訓(xùn)練的一個(gè)二維碼圖像生成專用ControlNet模型，目前還在不斷優(yōu)化中。

作者們嘗試了不同的Stable Diffusion Checkpoint、LoRA和QR Code ControlNet的組合，生成了上面這些二維碼圖像的效果。

值得一提的是，結(jié)合最近的PS新出的Generative Fill功能，這些二維碼還能被很好地嵌進(jìn)一大塊AI生成圖像中：

有網(wǎng)友調(diào)侃，未來就連廣告也會(huì)變得更好看了。

作者介紹

制作這個(gè)二維碼生成項(xiàng)目的作者一共有四位，分別來自中國傳媒大學(xué)和北京航空航天大學(xué)。

其中，倪豪和陳柏宇是中國傳媒大學(xué)大四本科生，王照涵是中國傳媒大學(xué)一年級(jí)研究生，陳智勇是北京航空航天大學(xué)大四本科生。

在這次的AI二維碼圖像生成項(xiàng)目前，倪豪和陳智勇就已經(jīng)做出過一個(gè)參數(shù)化二維碼生成器，不過主要采用的還是圖形學(xué)方面的技術(shù)。

據(jù)倪豪介紹，他們之前的研究方向主要集中在圖形學(xué)和交互藝術(shù)上，隨著這段時(shí)間AIGC爆火，團(tuán)隊(duì)也對(duì)這方面的技術(shù)產(chǎn)生了興趣。

這段時(shí)間里，他們開發(fā)了不少不同風(fēng)格的LoRA模型，以及可控制光影的ControNet等，目前模型也都已經(jīng)放在Civitai上。

團(tuán)隊(duì)表示，目前這個(gè)二維碼圖像生成模型還在持續(xù)優(yōu)化中，后續(xù)如果有更多的進(jìn)展更新，也會(huì)同步到這個(gè)網(wǎng)站上。

可以碼住期待一波了~

團(tuán)隊(duì)已開發(fā)的AI模型：https://aigc.ioclab.com/index.html

參考鏈接：
[1]更多二維碼效果展示：https://mp.weixin.qq.com/s/i4WR5ULH1ZZYl8Watf3EPw
[2]https://www.reddit.com/r/StableDiffusion/comments/141hg9x/controlnet_for_qr_code/
[3]https://twitter.com/dahbiahmed/status/1665778398084431872