一個神經元頂5到8層神經網絡，深度學習的計算復雜度被生物碾壓了
看來人工智能的發展還任重道遠。
來自耶路撒冷希伯來大學的研究者對單個神經元的計算復雜度進行了研究，他們通過訓練人工深度神經網絡來模擬生物神經元的計算，得出深度神經網絡需要 5 至 8 層互連神經元才能表征（或達到）單個生物神經元的復雜度。
人類糊狀的大腦似乎與計算機處理器中的固態硅芯片相去甚遠，但科學家將二者進行比較已經有很多年的歷史。正如「人工智能之父」阿蘭 · 圖靈在 1952 年所說，「我們對大腦具有冷粥粘稠度這一事實不感興趣?！箵Q句話說，介質不重要，重要的是計算能力。
當前，最強大的 AI 系統采用機器學習的一個分支——深度學習，這些 AI 系統的算法通過處理互連節點隱藏層的大量數據來學習，這被稱為深度神經網絡。顧名思義，深度神經網絡受到了人類大腦中真實神經網絡的啟發，它們的節點模擬真實神經元?；蛘咧辽俑鶕?1950 年代神經科學家對神經元的了解，當時一個被稱作「感知器」的有影響力的神經元模型已經誕生了。
自那時起，我們對單個神經元的計算復雜度的理解急劇增加，也清楚了生物神經元要比人工神經元更加復雜。但復雜多少呢？這個問題一直沒有明確的解答。
為了找出答案，耶路撒冷希伯來大學的計算神經科學博士生 David Beniaguev、神經科學教授 Idan Segev 和副教授 Michael London 訓練了一個人工深度神經網絡來模擬生物神經元的計算。他們表示，一個深度神經網絡需要 5 至 8 層互連神經元才能表征（或達到）單個生物神經元的復雜度。
作者們也沒有預料到會呈現出這種復雜度。一作 Beniaguev 表示：「我原以為生物神經元會更簡單些，3 至 4 層人工神經元就足以捕獲細胞內執行的計算?！?/p>
從左至右依次為耶路撒冷希伯來大學博士生 David Beniaguev、神經科學教授 Idan Segev 和副教授 Michael London。
他們還發表了相關論文《Single Cortical Neurons as Deep Artificial Neural Networks》。
論文地址：https://www.sciencedirect.com/science/article/abs/pii/S0896627321005018
DeepMind 決策算法設計師 Timothy Lillicrap 認為，新的研究結果表明有必要重新思考將大腦神經元與機器學習領域神經元進行松散比較的舊傳統了。
5 至 8 層人工神經元才能達到單個生物神經元的復雜度
人工神經元和生物神經元之間最基本的比較是它們如何處理傳入的信息。這兩種神經元都接收傳入信號，并根據輸入信息決定是否將信號發送給其他神經元。雖然人工神經元依賴簡單的計算做出決定，但數十年的研究表明，生物神經元的這個過程要復雜得多。計算神經科學家使用輸入 - 輸出函數來模擬生物神經元樹突接收到的輸入與神經元發出信號之間的關系。
研究者讓一個人工深度神經網絡模仿輸入 - 輸出函數（生物神經元樹突接收到的輸入與神經元發出信號之間的關系），以確定其復雜性。他們首先對一種神經元的輸入 - 輸出函數進行了大規模模擬，這種神經元的頂部和底部有不同的樹突分支，稱為錐體神經元，來自大鼠的皮層。然后，他們將模擬結果輸入到一個深度神經網絡中，該神經網絡每層最多有 256 個人工神經元。
接著，他們不斷的增加層數，直到在模擬神經元的輸入和輸出之間達到毫秒級別 99% 的準確率。深度神經網絡成功地預測了神經元的輸入 - 輸出函數的行為，所使用的層數至少有 5 層，但不超過 8 層。在大多數網絡中，這相當于 1000 個人工神經元對應一個生物神經元。
如下圖 2 所示，具有 7 個隱藏層、每層包含 128 個特征圖的時間卷積網絡（TCN）忠實地捕獲了一個 L5PC （layer 5 pyramidal neuron）模型。
在下圖 3 中，研究者展示了沒有 N - 甲基天冬氨酸（NMDA）突觸的 L5PC 神經元，它能夠被具有單個隱藏層（包含 128 個隱藏單元）的深度神經網絡忠實地捕獲。其中 A 為 L5PC 模型示意圖、B 為類比的深度神經網絡。
現在已經了解了單個神經元的計算復雜度，如下動圖所示，左邊的椎體神經元依賴樹突狀的分支，這些分支會受到信號的影響。在神經元決定是否發送 spike 信號之前，信號變化會導致局部電壓變化，表現為神經元顏色的變化（紅色表示高電壓，藍色表示低電壓）。這一 spike 出現了 3 次，如右側單個分支的軌跡所示，顏色代表樹突從頂部（紅色）到底部（藍色）的位置。
來自貝勒醫學院的計算神經科學家 Andreas Tolias 表示，這種結果建立了從生物神經元到人工神經元的橋梁。但研究者表示，這還不是一個直接的對應關系（生物神經元到人工神經元）。
Michael London 認為「神經網絡中的層數與網絡的復雜性之間的關系并不明顯，所以我們不能說網絡層數從四層增加到五層復雜度會增加多少。我們也不能說需要 1,000 個人工神經元就意味著生物神經元的復雜度恰好是生物神經元的 1,000 倍。最終，即使在每一層中使用指數級的人工神經元，最終也有可能形成只有一層的深層神經網絡——但這可能需要更多的數據和時間來讓算法學習?！?/p>
研究者嘗試了很多架構，幾乎都失敗了。他們還公開了代碼，以鼓勵其他研究人員找到更少層的解決方案。但是，找到一種能夠模仿神經元且準確率高達 99% 的深度神經網絡是非常困難，研究者相信他們的結果為進一步的研究提供了有意義的比較。
Timothy Lillicrap 認為，這可能提供了一種新的方法，將圖像分類網絡（通常需要 50 層以上）與大腦聯系起來。如果每個生物神經元都像一個五層人工神經網絡，那么一個 50 層的圖像分類網絡可能相當于一個生物網絡中的 10 個真實神經元。
此外，該研究還希望他們的結果將改變 SOTA 人工智能深度網絡架構。「我們呼吁替換深度網絡技術，使其工作方式更接近大腦，這一實現過程是將深度網絡中的每個簡單單元替換為代表神經元單元，而這種神經元單元本身就是有深度的，」Segev 表示。在這種替代方案中，AI 研究人員和工程師可以插入一個五層深度網絡作為「迷你網絡」，用來取代每一個人工神經元。
各路專家學者如何看
但有些人懷疑這是否真的有利于 AI。「我認為這是一個懸而未決的問題，這種做法是否存在實際的計算優勢，」來自冷泉港實驗室的神經科學家 Anthony Zador 表示道。這項工作為測試奠定了基礎。
除了 AI 應用之外，該研究還加深了人們對樹突狀樹和單個神經元強大計算能力的共識。早在 2003 年，三名神經科學家展示了錐體神經元的樹突樹可以進行復雜的計算，通過將其建模為兩層人工神經網絡。在這項新研究中，研究者探索了金字塔神經元的哪些特征激發了 5 到 8 層深度神經網絡的復雜性。他們得出結論，這來自樹突樹，樹突表面接收化學信使的特定受體——這一發現與先前研究者在該領域的研究一致。
而一些人認為，這一結果意味著神經科學家應該把單個神經元的研究放在更重要的位置?！高@篇論文使得對樹突和單個神經元的思考比以前更加重要」，賓夕法尼亞大學計算神經科學家 Konrad Kording 說。另外還有一些人如 Lillicrap 和 Zador，它們認為關注回路中的神經元對于了解大腦如何實際利用單個神經元的計算復雜性同樣重要。
無論如何，人工神經網絡的語言可能為理解神經元和大腦的能力提供新的洞見。倫敦大學學院的計算神經科學家 Grace Lindsay 表示：「從層數、深度和寬度這幾方面思考讓我們對計算復雜度有了更直觀的認識，不過這項研究仍然只是模型與模型之間的比較?！?/p>
遺憾的是，目前神經科學家無法記錄真實神經元的完整輸入 - 輸出功能，因此生物神經元模型無法捕獲到的信息可能更多。也就是說，真實神經元可能更加復雜。
Michael London 對此也表示：「我們并不確定 5 至 8 層是否就是最終數字?！?/p>
