AI「心靈之眼」被看透!大改神經網(wǎng)絡,模型生成背后邏輯首現(xiàn)
你有沒有想過外星人的小腦殼里在想些什么,他們怎么感知這個世界?
(我知道這個問題非常抽象)
國外有個小哥也對外星人的思想非常感興趣,于是,他借助AI的力量,生成了一系列圖片,嘗試構建了一種「外星人的思維模式」。
小哥的想法非常簡單,嘗試去捕捉外星人腦海中的圖像。
舉例來說,對于一個傳統(tǒng)的生成式AI,我們輸入「一只戴著派對帽的貓」,就會大概率生成下面這張圖片。

這張圖片是符合我們的預期的,因為生成它的AI是按人類的思維訓練出來的。
現(xiàn)在,小哥的方式就是,修改這個AI的神經網(wǎng)絡的一些組成部分,比如內部結構,重置該網(wǎng)絡內部各部分的權重,是不是就能讓生成出來的東西接近外星人的所想呢?
比如,改著改著可能就成下圖這樣了,愈發(fā)抽象。
圖片
可以說,最后的圖片簡直隨意——至少在我們的認知里是這樣。
這實際上就有了一個平臺,可以進一步探索什么是外星思維。
小哥表示,這就像是一種人工神經科學,但是研究的不是真實的人類大腦,而是一種神經網(wǎng)絡類似物。
用AI生成圖像
AI之所以能生成圖片,就是因為接受了某種訓練,知道什么樣的圖片是合理的,以及如何確定圖片的內容。
換句話說,AI就是要隨機生成合理的圖片,檢查生成圖片的內容,進行微調,慢慢變成人們想要的圖片。
而實際上,何為合理,其實也是有章可循的。
存在一些規(guī)律性的東西來定義合理,比如:像素不是隨機的,相鄰的像素通常高度相關,如果有一張臉,那么或多或少得是對稱的,如果圖片頂部是藍色,底部很可能是綠的,等等。
重要的技術點就在于,用神經網(wǎng)絡來捕捉圖像中的規(guī)律性,再來按要求生成新的圖像。
下面是一些隨機生成的例子——

雖說看著是隨機的,但大體還是得遵守用來訓練的那數(shù)十億張圖片的一些規(guī)律。
也就是說,上面這些圖片雖看著隨機且抽象,但有一些還是包含了一些人像、風景的內容。就算沒有什么實質性內容,也是有結構可言的。
那么,我們如何得到一張戴著派對帽的貓的圖片呢?
第一個問題是:我們如何知道自己是否成功了。
很簡單對吧,我們只需要看看我們生成的圖像是什么就可以了。但事實證明,我們也可以訓練神經網(wǎng)絡來做到這一點,雖然并不總是準。
圖片
神經網(wǎng)絡是如何訓練的呢?
基本思路是獲取數(shù)十億張圖片,起個標題,然后逐步調整神經網(wǎng)絡的參數(shù),使其在接收到相應圖片時能夠再現(xiàn)這些標題。
神經網(wǎng)絡還能給從未見過的圖片起一個合理的標題,也就是說,通過計算構建的神經網(wǎng)絡的行為方式與我們人類的行為方式完全相似。
我們可以利用這種功能,引導我們生成的圖像達到我們想要的效果。
從「純隨機」開始,然后嘗試「構建隨機性」,制作出一幅「合理」的圖片。換句話說,逐步嘗試得到我們想要的圖片。
在實踐中,這種方法是從隨機像素陣列開始,然后迭代形成想要的圖片:

我們不知道人類大腦中的心理圖像是如何形成的。但可以想象的是,這個過程并沒有太大的不同。實際上,當我們試圖想象出一個合理的形象時,我們會不斷檢查它是否與我們想要的一致。
所有事物最終都可以用數(shù)字數(shù)據(jù)表示,這是整個計算范式的基礎。
但神經網(wǎng)絡的有效性卻依賴于一個略有不同的理念,即至少可以將多種事物視為以實數(shù)陣列為特征的事物。
最終,我們可能會從神經網(wǎng)絡中提取出「貓」這個單詞,為圖像添加標題。
但在神經網(wǎng)絡內部,它將與數(shù)字數(shù)組一起運行,這些數(shù)字數(shù)組以某種相當抽象的方式與你給出的圖像以及它最終生成的文字說明相對應。
一般來說,神經網(wǎng)絡通常被認為是將「特征向量」與事物聯(lián)系起來,無論這些事物是圖像、文本還是其他任何東西。
但是,像貓和狗這樣的單詞是離散的,而與之相關的特征向量則只包含實數(shù)的集合。
這就意味著,我們可以考慮整個空間的可能性,而貓和狗只是對應于兩個特定的點。

是的,如果我們愿意,我們還可以繼續(xù)超越貓--很快事情就會變得相當奇怪:

我們在來看看通過標準貓的特定二維平面上會發(fā)生什么:

標準貓?zhí)幱谥虚g位置。當我們遠離標準貓的位置時,奇怪的事情就會發(fā)生。
簡單來說,越遠越不像貓。
這里的一切都非常怪異,有時甚至有些令人不安。下面是我們在標準貓周圍(隨機選擇的)同一平面上看到的放大圖:

這些都是什么?從某種意義上說,我們無法用語言來表達。
它們是概念間空間海岸上的事物,人類的經驗(尚未)把我們帶到那里,人類的語言也尚未發(fā)展出來來描述這些圖片。
如果我們進一步探索概念間空間——比如只是在空間中隨意取樣呢?
就像我們上面看到的那樣:我們會得到一些圖片,這些圖片在某種程度上具有統(tǒng)計的典型性,就像我們人類在網(wǎng)絡上發(fā)布的圖片一樣,AI也是在這些圖片上訓練出來的。
下面還有幾個類似例子:

那么,人工智能到底看到了哪些圖像,并據(jù)此形成了這個概念間空間模型呢?
從網(wǎng)絡上收集到的圖像有幾十億張。就像網(wǎng)絡上的東西一樣,這是一個雜亂無章的集合。
下面是一個隨機樣本:

如果我們不是從一個可描述的概念(比如戴派對帽的貓)開始,而是從概念間空間的一個隨機點開始,會發(fā)生什么呢?我們會看到以下幾種情況:

概念空間的圖像
概念間空間中的許多圖像都有一種奇怪的熟悉感,但又有些陌生。我們經常能看到一些看起來像是人的照片,但又不太對勁。
對人類來說,因為我們對人臉特別敏感,所以更容易識別出人臉部分的不對勁。
同時,只拍軀干而沒有臉部的照片也會顯得很奇怪。

到目前為止,人是最常見的可識別元素。但有時也能看到其他事物:

還有一些風景類型的場景:

有些照片看起來相當真實,但有些則從更抽象的元素中建立起風景的印象:

偶爾也有類似城市風景的照片:

還有更少的室內場景:

還有一些照片看起來像是某種外景:

我們經常可以看到由線條、點或其他印象派構成的圖像:

還有很多圖像似乎試圖表現(xiàn)某種東西,但卻完全不清楚那是什么東西,也不知道它是否真的是我們人類能夠識別的東西,或是某種本質上陌生的東西:

此外,我們還經常看到一些看起來更像是「純圖案」的作品--它們看起來并不像是在試圖成為某種東西,而更像是某種裝飾性紋理。

不過,最常見的一種圖像可能是通過重復各種簡單元素形成的均勻紋理,不過通常會有各種「錯位」:

在跨概念空間中,我們看到的圖像種類繁多。
許多圖像都具有某種藝術特質——讓人感覺它們是對世界上也許是平凡的事物或簡單、本質上是數(shù)學模式的某種「心靈詮釋」。
在某種程度上,所涉及的「心智」是我們人類的版本,反映在神經網(wǎng)絡中,它也能體驗人類在網(wǎng)絡上發(fā)布的許多圖像等。
但在某種程度上,這種思維也是一種更加陌生的思維,它是由神經網(wǎng)絡的計算結構形成的,具有其特殊的特征,而且毫無疑問在某些方面具有計算上不可還原的特征。
事實上,有一些重復出現(xiàn)的圖案可能就是神經網(wǎng)絡底層結構特征的反映。
例如,明暗交替的「顆粒狀」外觀可能是神經網(wǎng)絡卷積部分動態(tài)變化的結果,類似于在一定有效像素范圍內迭代模糊和銳化的結果。
讓思想變得陌生
我們可以想想到目前為止所做的工作,探索一個受過類人經歷訓練的頭腦,能夠通過概括這些經歷來 「想象」什么。
但是另一種思維會想象出什么呢?
具體來說,我們可以利用一直在使用的神經網(wǎng)絡,對其進行更改,看看這對它產生的圖像有什么影響。
稍后我們將討論網(wǎng)絡是如何建立的細節(jié),但這里只需要說它涉及391個不同的內部模塊,總共涉及近10億個數(shù)字權重。
當網(wǎng)絡被訓練時,這些數(shù)字權重會被仔細調整,以達到我們想要的結果。
但是如果我們只是改變它們呢?我們仍然會得到一個可以生成圖像的網(wǎng)絡。
但在某種意義上,它會以不同的方式思考,所以生成的圖像可能會有所不同。
因此,作為一個非常粗糙的首個實驗,讓我們依次「敲除」每個連續(xù)的模塊,將其所有權重設置為零。
如果要求神經網(wǎng)絡生成一張「戴著派對帽的貓」的圖片,得到如下圖片:

再更詳細地看看這些結果。
在大多情況下,將單個模塊歸零并沒有太大區(qū)別。例如,它可能基本上只會改變貓的面部表情:

但它也可以從根本上改變貓(和它的帽子):

它可以改變貓的形狀或位置(是的,其中一些貓爪子的形狀是不正確的):

清零其他模塊實際上可以改變貓的「渲染」:

但在其他情況下,事情可能會變得更加混亂,我們很難解析:

有時那里顯然有一只貓,但它非常奇怪:

有時我們得到的圖像有明確的結構,但似乎與貓沒有任何關系:

還有一些情況下,我們基本上只是得到「噪音」,盡管有疊加的東西:

但是有一些模塊(就像我們原始列表中的第一個和最后一個模塊),將它們歸零基本上會使系統(tǒng)根本無法工作,只會產生「純隨機噪聲」。
正如我們將在下面討論的,我們正在使用的整個神經網(wǎng)絡有一個相當復雜的內部結構。例如,有幾個根本不同類型的模塊。
但是這里有一個例子,如果一個人在網(wǎng)絡的不同位置清零模塊會發(fā)生什么。我們看到的是,在大多數(shù)情況下,模塊的位置和清零模塊會產生什么影響之間沒有明顯的相關性:

到目前為止,我們只是看看,如果我們一次清零一個模塊會發(fā)生什么。
以下是一些隨機選擇的例子,說明如果一個連續(xù)清零更多模塊會發(fā)生什么(人們可以稱之為「哈爾實驗」(HAL experiment),以紀念電影2001中虛構的哈爾人工智能的命運):

基本上,一旦圖像的「貓」消失以后,事物變得越來越陌生,會以明顯的隨機性結束。
相反,我們可以隨機化模塊中的權重,而不是將模塊歸零——但結果通常至少在質量上相似:

我們可以做的其他事情就是,逐步將隨機性均勻地混合到網(wǎng)絡中的每個權重中。
這里有三個例子,在每種情況下,0%、1%、2%……的隨機性被添加:

同樣,我們可以逐步縮小到零(以1%的增量:100%、99%、98%,…)網(wǎng)絡中的所有權重:

或者我們可以逐步增加權重的數(shù)值:




























