本文轉(zhuǎn)載自公眾號“讀芯術(shù)”(ID：AI_Discovery)。

向神經(jīng)網(wǎng)絡(luò)展示大量的人和車的圖片，并告知其哪一張是車，哪一張是人，最終，這個神經(jīng)網(wǎng)絡(luò)就可以學(xué)會區(qū)分人和車。當(dāng)新輸入一張車或人的圖片時，它會告訴你這是一個人還是一輛汽車。

[[347866]]

如圖1.1所示：基本上，這個神經(jīng)網(wǎng)絡(luò)所做的就是構(gòu)建一個有意義的結(jié)構(gòu)。如果讓這個神經(jīng)網(wǎng)絡(luò)生成一張新的未曾出現(xiàn)過的人或車的照片，它無法做到，如圖1.2所示。

圖1：卷積神經(jīng)網(wǎng)絡(luò)

通常需要生成呈相同輸入分布的新樣本，為此需要一個生成模型。

生成式網(wǎng)絡(luò)

圖2：生成網(wǎng)絡(luò)的輸入數(shù)據(jù)

如果將這三種類型的數(shù)據(jù)(圖2)輸入到生成網(wǎng)絡(luò)，該網(wǎng)絡(luò)的學(xué)習(xí)模型將如圖3所示。當(dāng)試圖通過這個訓(xùn)練好的生成式神經(jīng)網(wǎng)絡(luò)生成樣本時，它將生成圖4，因為圖4的模型與以上所有三種輸入分布模型的平均值相似。

但通過觀察，可以清晰地判斷出這個樣本不屬于任何一種已輸入的數(shù)據(jù)分布類型。該如何解決這個問題呢?答案是隨機性。也就是說，生成模型通過增加隨機性來產(chǎn)生相似度極高的結(jié)果。

圖3：學(xué)習(xí)模型;圖4：生成式網(wǎng)絡(luò)的輸出結(jié)果

對抗性網(wǎng)絡(luò)

假設(shè)要訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)來正確識別0到9之間的數(shù)字，我們先要提供大量數(shù)字的圖像。訓(xùn)練時，當(dāng)網(wǎng)絡(luò)預(yù)測正確時將會得到獎勵，預(yù)測錯誤時則會給出反饋，這樣網(wǎng)絡(luò)就會相應(yīng)地調(diào)整其權(quán)值，并且對所有數(shù)字的所有圖像重復(fù)這個過程。

但作為人類的我們在歷經(jīng)這個過程時其實并非如此。如果你是一名教師，正在教一個孩子如何識別0-9。對于數(shù)字0，2，3，4，5，6，8，9，他有70%的把握回答出正確答案。但當(dāng)他得到1和7這兩個數(shù)字時，他心中只有50%的把握(他可能無法分辨)。因為對于他來講，數(shù)字1和7看起來十分相似。

你注意到了這一點，于是開始重點關(guān)注1和7，這是你學(xué)生面臨的主要問題。但如果你一直問同樣的問題，他最終會失去動力并放棄，這種平衡在人類身上是很常見的，但神經(jīng)網(wǎng)絡(luò)不是這樣，神經(jīng)網(wǎng)絡(luò)沒有感覺。我們可以就這些錯誤對網(wǎng)絡(luò)進行一次又一次的訓(xùn)練，直到出錯率降到與分辨其他數(shù)字的出錯率相同為止。

現(xiàn)實中，有些人可能會遇到這樣的情況：老師不停問他們同樣的問題，他們不斷失敗，甚至?xí)X得是老師想讓他們失敗。這實際上是一種反向行為。

那么如何在神經(jīng)網(wǎng)絡(luò)中重現(xiàn)類似的場景?實際上，我們可以建立一個真正的對抗性網(wǎng)絡(luò)。如果有程序真正使神經(jīng)網(wǎng)絡(luò)盡可能多地犯錯，產(chǎn)生上述那種反應(yīng)，并且它發(fā)現(xiàn)了任何弱點，那么這道程序就會針對性地迫使學(xué)習(xí)者學(xué)會根除這種弱點。

生成式對抗網(wǎng)絡(luò)

生成式對抗網(wǎng)絡(luò)由兩個模塊組成：一個是生成模型，另一個是判別模型。在訓(xùn)練生成式對抗網(wǎng)絡(luò)時，這兩個網(wǎng)絡(luò)實際上是互相博弈的關(guān)系，都在競爭唯一的參數(shù)——判別模型的錯誤率。生成模型調(diào)整其權(quán)重以求產(chǎn)生更高的誤差，判別模型通過學(xué)習(xí)試圖降低誤差。

生成式對抗網(wǎng)絡(luò)的訓(xùn)練過程

示例

有一個偽造者試圖造一幅假畫并且將其高價出售。與此同時，有一個檢查員負責(zé)檢查并判斷這些畫的真?zhèn)巍?/p>

起初，偽造者只是在紙上隨意畫幾條線，檢查員此時無法確定真假。因為一開始判別模型和生成模型都還沒有進行任何學(xué)習(xí)。

后來，造假畫者學(xué)習(xí)了更多不同種類的畫法，制作出一幅看起來像原畫的畫，檢查員也學(xué)習(xí)精細的圖案來區(qū)分贗品和原畫。當(dāng)檢查偽造者新生成的畫時，檢查員就會識別出畫是贗品然后拒絕它，這個過程會不斷重復(fù)。

最終，出現(xiàn)了這樣一種情況：偽造者制作出一張看起來很貼近原畫的圖片，而檢查員無法確定其真?zhèn)巍＿@在神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為，生成模型生成一張看起來和原畫一模一樣的圖，而判別模型的輸出為0.5，表示其無法區(qū)分圖片的真假。這時可以把判別模型從神經(jīng)網(wǎng)絡(luò)中移除，得到了一個經(jīng)過充分訓(xùn)練的生成模型，可以生成看起來非常真實的畫。

除此之外，如果將大量的汽車圖像導(dǎo)入生成式對抗網(wǎng)絡(luò)中，以生成一個新的汽車樣本，那么有一點是確定的，那就是生成式對抗網(wǎng)絡(luò)此時已了解什么是汽車。

[[347870]]

圖源：unsplash

因為網(wǎng)絡(luò)將在潛在空間中構(gòu)造一個結(jié)構(gòu)，這個結(jié)構(gòu)又稱為特征向量，如果觀察這些向量，會發(fā)現(xiàn)其意義是完整的。這個潛在空間是輸入數(shù)據(jù)分布的映射。每一個維度都與汽車的某項特征相對應(yīng)。如果潛在空間中的一個軸表示的是汽車的尺寸，那么另一個軸就表示汽車的顏色。

所以，如果移動輸入分布中的一個數(shù)據(jù)點，那么在潛在空間中也會有一個非常平滑的過渡。這樣，一個類似于輸入數(shù)據(jù)分布的新樣本就產(chǎn)生了。