[[357174]]

從我的AI之旅開始，我發現了一些具有無窮潛力的想法和概念，它們在輝煌的歷史上留下了自己的印記。

今天，我決定整理一些最有趣的想法和概念的清單（根據我自己的經驗），這些想法和概念讓我這些年來都堅持不懈。希望他們也能像激勵我一樣激勵你。

因此，讓我們從AI愛好者的“初戀”開始。

1.神經網絡-“來自仿生學的靈感”

每個使用統計模型（例如回歸模型和所有模型）的新機器學習（Machin Learning，ML）開發人員，在首次學習人工神經網絡（Artificial Neural Networks，ANN）時都經歷了腎上腺素激增的過程；這是處在深度學習的門口。

這里，基本思想是通過編程來模仿生物神經元的工作，實現通用函數逼近。

神經科學和計算機科學這兩個領域的融合本身就是一個令人興奮的想法。 我們將在以后進行詳細探討。

數學上，突觸和連接如何濃縮為大規模的矩陣乘法； 神經元的放電與激活函數如何類似，如S函數（sigmoid）； 大腦中的高級認知抽象和人工神經網絡的黑匣子聽起來如何既神秘又酷。 所有的這些給新的ML開發人員帶來了希望，這是不可思議的。

圖源：作者提供（Canva制作）

在這一點上，新手認為：“從根本上說，這種受生物啟發的技術可以實現一切。 畢竟，大自然選擇了執行流程的最佳、最有效的方式，難道不是嗎？”

只有在以后的課程中，他們才會學習ANN的部分啟發方式，因此仍會有很大的局限性。

從理論上講，一切聽起來都不錯，但他們不切實際的雄心勃勃的夢想就消失了，就像在錯誤配置的神經網絡訓練課程中的梯度一樣（get到這個點了嗎？哈哈）。

2.基因算法-“向達爾文問好”

基因算法是另外一類可以應用于計算機科學領域的受自然啟發得到的算法。在這里你會找到與達爾文進化論有關所有的術語，有如-突變，繁衍，人口，交叉，適者生存等等。

這些進化算法背后的思想是遵循自然選擇，只有最適應環境的個體才有機會繁衍后代。而為了在人口中增加一些多樣性，最適應環境的個體所擁有的染色體每過一段時間就會隨機地突變一次。

在這里，“個體”指的是給定問題的一個可能的答案

來看一下它的工作流

圖源：來自于作者（使用Canva設計出來的）

簡潔明了，不是嗎？

這個看起來簡單的算法在現實世界中可以應用在很多場景，例如-優化，遞歸神經網絡的訓練過程，某些問題解決任務的平行化，圖像處理之類的。

盡管有這么多的可行方向，基因算法目前還沒有任何實際成果。

3.自我編輯程序 -“需要小心的程序員”

作為基因算法應用的延續，這一個當然是最令人興奮的，而它也值得擁有一個獨立的小節。

想象存在一個AI程序可以修改它自身的源代碼。它一次又一次地改進著自己，循環多次，直到它最終實現了自己的目標。

很多人相信，

自我改進/編輯代碼+AGI=AI超級智慧
顯然，要實現這個方法還存在有很多困難，但想一下2013年的這個實驗：一個基因算法可以用Brainfuck（一種編程語言）來構造一個可以打印出“hello”的程序。

那個基因算法的源代碼中沒有寫入任何的編程原則，只是一個樸素，古老的自然選擇算法。在29分鐘之內，它生成了這個-

+++><>.]]]]
當你在Brainfuck編譯器中運行這段代碼時，它會打印“hello”。這個實驗成功了！

這證實了基因算法的威力，也展現出了在給予足夠的時間和計算資源下它的能力。

4.神經常微分方程 -“螺旋層”

回到幾年前，在4854份遞交到NeurIPS的研究論文中，這篇名為“神經常微分方程”的論文脫穎而出，成為了最好的4篇論文之一。

它有什么了不起的呢？因為它確切地改變了我們對神經網絡的看法。

傳統意義上的神經網絡擁有的層數是離散的，同時依賴于梯度下降和反向傳播來進行優化（尋找全局最小值）。當我們增加層數時，我們的內存消耗也在增加，但我們不再需要那么做，理論上說。

我們可以從離散層模型轉換成連續層模型-從而擁有無限層。

源：上面提到的研究論文

我們不需要事先確定層數。而是輸入你想要的精確度然后看著以常數內存為代價的魔術發生。

根據這篇論文，這個方法在時間序列數據中（特別是不規則的時間序列數據）比傳統的遞歸神經網絡和殘差網絡的表現都要更好。

源：上面提到的研究論文

利用這種新的技術，我們可以使用任何常微分方程求解器（OOE Solver），像是歐拉方法來取代梯度上升，使得整個過程更有效率。

而且正如你所知，時間序列數據無所不在-從證券市場的金融數據到醫療保健產業，因此一旦這項技術成熟它的應用將十分廣泛。但它目前仍然有待發展。

希望它能往好的方向發展吧！

5.神經進化-“再一次地模仿自然”

神經進化是一個過去的想法，最早可以追溯到二十一世紀初期，由于最近在強化學習的領域中和著名的反向傳播算法進行比較而顯示出其前景和發展。比如在神經架構搜索，自動機器學習，超參數優化等領域。

用一句話來說，“神經進化是一項利用基因算法改進神經網絡的技術”，不僅僅可以改進權重和參數，還能改進網絡的（拓撲）結構（最新的研究）。

這是一場梯度下降優化算法和進化優化算法在訓練神經網絡模型上的戰役。

 

源：https：//blog.otoro.net

但我們為什么要使用它呢？

因為，在Uber最近的研究中（深度神經進化），他們發現這項技術比起反向傳播可以使模型更快的收斂。在比較低端的PC上幾天的計算時間可以縮短為幾個小時。

如果你正在用梯度下降訓練一個神經網絡并卡在了像局部最優點或者梯度彌散的地方，那么神經進化可以幫你得到更好的結果。

你不需為這項替換付出。在每個神經網絡被應用到的場所，這項技術都可以被用來優化并訓練它們。

“兩個腦袋比一個腦袋來的要好，不是因為有某個腦袋不容易出錯，而是因為它們不太可能犯同一種錯誤。"-C.S Lewis

6.谷歌的AI孩子-”AI創造AI“

調整超參數是一項每個數據科學家都深惡痛絕的繁瑣而又無聊的任務。由于神經網絡實際上是一個黑盒子，我們無法明確地知道我們改變的超參數會如何影響一個網絡的學習。

在2018年，谷歌在自動機器學習（AutoML）的世界中作出了一項突破，制作出了一個叫做NASNet的模型。這個物品識別模型擁有82.7%的準確率，比計算機視覺領域內的其他任何模型都要高1.2%，同時效率還要至少高出4%。

最重要的是，它是通過使用強化學習的方法，在另外一個AI的幫助下發展而成的。

 

圖源：谷歌研究院

“神經網絡設計神經網絡”。。。這確實是一個驚人的想法，你不這么認為嗎？

在這里，它的家長AI叫做Controller network（控制者網絡），它在數千次的迭代中逐步培養出其AI孩子。在每次迭代中，它計算出孩子的性能并使用這個信息來在下一次迭代中建造一個更好的模型。

這種創造性的思考方式推動了”學會學習“的概念（或者元學習），從而不論是從準確性還是效率都可以擊敗這個星球上任何人類所設計出來的神經網絡。

想象一下在計算機視覺的領域之外它還能做什么。難怪這個概念激起了人們對于超級過載人工智慧最深的恐懼。

7. GANs-”神經網絡 vs. 神經網絡“

GAN是生成式對抗網絡的簡寫，它們可以學會模仿任意的數據分布。

這是什么意思呢？

在GANs之前，機器學習算法專注于尋找輸入和輸出之間的關聯。它們被叫做判別算法。例如，一個圖像分類器可以區分蘋果和橙子。

當你把一張照片輸入到網絡中時，它或返回0（我們讓它指代蘋果）或者返回1（指橙子）。你可以認為它在分配標簽。它在內部創建了一個模型，確定了哪些特征對應了蘋果，哪些特征對應了橙子，然后吐出一個帶有一定概率的標簽。。
然而。。。盡管它們在內部可能有辦法用某種方式表示蘋果和橙子從而對它們進行比較，但它們沒有辦法生成出蘋果和橙子的圖片。
這里就是GANs拿手的地方。一個GAN包含了兩個網絡-一個生成器和一個鑒別器。

沿用之前的例子，如果我們想要生成一張蘋果的照片，那么我會使用一個解卷積網絡來作為我的生成器以及一個卷積網絡來作為我的鑒別器。

這個生成器一開始只會生成一張隨機的噪聲圖像并試著讓它看起來像是一個蘋果。另一方面，鑒別器會試著鑒別出輸入的圖片是真實的還是偽造的（由生成器所生成）。

如果鑒別器可以正確地區分出圖片，那么生成器就要努力改進自己去生成出更加真實的圖片。同時鑒別器也努力提高自己的判別能力。這意味著，不管如何，改進都是不可避免的，問題只是它發生在鑒別器身上還是生成器身上而已。

這看起來有點像一種雙重反饋循環。

GANs的復雜性使得它們難以訓練，最近在英偉達發布的一篇研究論文中他們描述了一種方法，通過漸進地改進生成器和鑒別器來訓練GANs。（有趣的說法！）。

關于GAN的機制我們說的足夠多了，那么我們該如何使用它呢？

一些酷炫的GAN的應用：

• 使面孔變老

• 超高分辨率

• 圖像混合

• 衣服轉換

• 3D物體生成，之類的。

更多信息可以參見這篇文章。

8.遷移學習-”使用預先訓練好的網絡“

從零開始訓練一個神經網絡是需要昂貴的計算成本，有時還會變得非常混亂。但試想一下我們可以從另外一個以前在其他數據集上已經訓練好的網絡中獲取知識，并將其重新用在我們新的目標數據集的訓練過程中。

這樣子，我們可以加速在新的領域上進行學習的過程并且節省大量的計算能耗和資源。可以把它想成是一場起點比其他人要靠前的跑步比賽。

不要把你的時間浪費在重復造輪子上
顯然，你不可以把這項技術用在兩個毫不相關的領域上，但在一些領域上-自然語言處理和計算機視覺，使用已經訓練好的網絡是一種新的規范

Source：https://www.topbots.com/

計算機視覺領域中，在物品偵測，物品識別，和圖像分類任務中，人們會使用像VGG ConvNet，AlexNet，ResNet-50，InceptionV3，EfficientNet之類的已經預訓練好的網絡。特別是在任務剛開始的階段。

即使是在像神經風格轉移（NST）這樣的任務上，你可以使用VGG19來迅速獲取內在表示從而節省時間。

在如情感識別和語言翻譯的NLP任務中，各類的不同詞向量嵌入方法如斯坦福的GloVe（表示詞匯的全局向量）或者谷歌的Word2Vec都是標配。

我不想提及那些最新的語言模型（那些大家伙）如谷歌的BERT，OpenAI的GPT-2（生成式預訓練Transformer），和全能的GPT-3。他們都是在我們這些平民難以想象的海量的信息中訓練出來的。他們幾乎把整個網絡作為他們的輸入數據集并花費了數百萬美元來進行訓練。

從這一點而言，它看起來像是未來我們使用的預訓練網絡。

9.神經形態架構 -”次世代材料“

在看了那么多軟件世界的進展之后，我們來關注一下硬件部分。

但在那之前，先來看一下這個荒謬的對比。。。

人類的腦子里平均有860億個神經元和大約1千萬億突觸。直觀地說，你實際上可以通過解開你的腦子來到達月球（用400000千米長的神經纖維）。

如果你想要模擬你的腦子，你需要消耗大量的計算能源（1百億億次運算），這是在現有的技術水平上無法實現的。

即使是最強大的超級計算機也無法實現這么大的運算量，更別提我們的大腦僅僅需要20瓦的電力（比點燃一個燈泡還少）就可以做到這種程度。

為什么？因為”架構“

圖源：https://randommathgenerator.com/

你知道嗎，今天我們用到的每一臺計算機都是基于一個有75年歷史的架構，即馮諾依曼架構。在這個架構中，內存和處理器是相互分離的，這使得我們在執行大運算量的任務，如大型矩陣乘法，時存在著性能瓶頸。

這個馮諾依曼瓶頸的產生是因為我們執行一系列指令的時候傳入輸入和得到輸出的過程是有順序的。但在我們的腦子中，進行記憶和處理的單元本質上是同一個，這使得它可以用閃電般的速度處理巨量的數據同時只需要消耗極小量的能量。在這里，連接記憶和處理單元的就是記憶本身。

有一些公司例如IBM和Intel正嘗試模擬一個像我們生物的腦子一樣的架構。它最終會催生出一種新的計算方式，神經形態計算。

使用多塊GPU和TPU的日子就要到頭了。我真的迫不及待那一天的到來！

進展：IBM的真北芯片和Intel的神經形態芯片。

10.通用人工智能（AGI）-“我們的終極目標”

當你聽到有人嘶喊到“總有一天，AI會把我們都殺光。”那么通用人工智能最有可能做出這樣的事情。

為什么？

因為現在我們正在處理的是“弱人工智能”意思是我們現在的模型在它們的特定領域之外一無是處。但是，全球的科學家和研究人員都在致力于產生一種可以完成各類任務，或者能學會完成幾乎任何給定任務的人工智能。

如果他們成功了，可以預測到的是，這會導致智慧爆炸，遠超人類的智慧并最終催生出超級智能。

當這件事發生的時候，那個超級智能會變成一個擁有知覺，自我意識，以及更高的認知能力的存在。

[[357175]]

源：https://www.theverge.com(實在忍不住放上這張照片）

之后會發生什么？只有天知道。

有一個專門的詞來形容這種情況。Singularity是一個假設的時間點，到那個時候技術發展會變得不可控且不可逆，最終對人類文明產生不可預見的改變。-維基百科

我們不能簡單地停止它的發展嗎？不。

人工智能就像是今天的電能一樣。我們對它擁有著重度依賴，停止它的發展就像是回到黑暗時代。此外，沒有國家會停止它的發展因為有一種共同的心態-”即使我們不發展，他們也會“-就像我們制造具有大規模殺傷力的核武器時的心態。

埃隆馬斯克的擔心并非空穴來風。他是認真的。

總結

我覺得已經說出了一些制造一個完美AI的方法的要點。但誰在乎呢？除非我們有辦法和他們共存。

我希望在Neuralink工作的人們能夠在世界末日之前完成他們的人腦-機器接口。且埃隆馬斯克設法在不把我們的腦子暴露給新世代黑客的情況下使用它。