“ 神經(jīng)網(wǎng)絡(luò)就是一個(gè)具有輸入和輸出的黑盒”

神經(jīng)網(wǎng)絡(luò)模型就是模仿人類大腦神經(jīng)元傳遞的過(guò)程，從使用者的角度來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)就是一個(gè)具有輸入和輸出的黑盒模型。

簡(jiǎn)化模型如下圖：

只需要設(shè)定特定的輸入和輸出格式，隱藏層可以根據(jù)不同的任務(wù)需求進(jìn)行實(shí)現(xiàn)。

01、神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)主要由神經(jīng)元構(gòu)成，然后會(huì)根據(jù)任務(wù)復(fù)雜度，設(shè)計(jì)一個(gè)到多個(gè)網(wǎng)絡(luò)層，網(wǎng)絡(luò)層數(shù)越多，處理的問(wèn)題越復(fù)雜。

如下圖所示，就是一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型圖，具有輸入層，輸出層和隱藏層，隱藏層并不一定就一層，也可能由多層網(wǎng)絡(luò)組成，每一層又由多個(gè)神經(jīng)元組成。

神經(jīng)網(wǎng)絡(luò)可以分為：輸入層、隱藏層、輸出層，其中隱藏層數(shù)量決定模型網(wǎng)絡(luò)復(fù)雜度

輸入層是神經(jīng)網(wǎng)絡(luò)的第一層，其作用是接收輸入數(shù)據(jù)，并將其傳遞到下一層。

隱藏層是位于輸入層和輸出層之間的一層或多層。其作用是將輸入數(shù)據(jù)轉(zhuǎn)換為更高層次的特征表示，神經(jīng)網(wǎng)絡(luò)的核心處理模塊就在隱藏層。

輸出層是神經(jīng)網(wǎng)絡(luò)的最后一層，其作用是將神經(jīng)網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)的處理結(jié)果輸出。

輸入層

輸入層是神經(jīng)網(wǎng)絡(luò)的第一層，也是唯一與外界交互的一層，它的作用就是從外界獲取數(shù)據(jù)，并輸入到它的下一層，它的下一層可以是隱藏層也可以是輸出層。

在神經(jīng)網(wǎng)絡(luò)中，輸入層是需要從外部獲取數(shù)據(jù)，而不是由訓(xùn)練得到的數(shù)據(jù)；因此，在神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)中，輸入層需要根據(jù)不同的數(shù)據(jù)特征進(jìn)行適當(dāng)?shù)恼{(diào)整和泛化。

比如在圖像處理的神經(jīng)網(wǎng)絡(luò)中，需要考慮圖片的尺寸，顏色空間等；而在自然語(yǔ)言處理(NLP)中，又需要考慮分詞，詞匯表等。

輸入層的神經(jīng)元數(shù)量一般由輸入的數(shù)據(jù)特征來(lái)確定，比如圖片處理任務(wù)中，每一個(gè)像素點(diǎn)就是一個(gè)神經(jīng)元。

因此，輸入層作為神經(jīng)網(wǎng)絡(luò)的第一層，它的作用就是把輸入數(shù)據(jù)(文字，圖片，視頻等一切數(shù)據(jù))，轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)可以處理的格式。

所以，在設(shè)計(jì)輸入層時(shí)，要考慮輸入數(shù)據(jù)的格式及各種預(yù)處理，并且要具有適當(dāng)?shù)姆夯芰Γ热缒骋惶煨枰黾幽承?shù)據(jù)格式等，并且根據(jù)不同的任務(wù)類型可以進(jìn)行適當(dāng)?shù)恼{(diào)整。

輸入層就類似于一個(gè)適配器或轉(zhuǎn)化器，把人類的數(shù)據(jù)格式適配到神經(jīng)網(wǎng)絡(luò)中。

隱藏層

隱藏層是位于輸入層與輸出層之間的一層或多層，隱藏層是神經(jīng)網(wǎng)絡(luò)的核心處理模塊，它可以把輸入層的數(shù)據(jù)轉(zhuǎn)換為更高層次的特征表示；并且，每個(gè)隱藏層的神經(jīng)元數(shù)量和連接方式都不相同，這取決于具體的神經(jīng)網(wǎng)絡(luò)架構(gòu)。

比如，卷積網(wǎng)絡(luò)的隱藏層主要有卷積層，池化層和線性層。

隱藏層的好壞和架構(gòu)，直接決定著這個(gè)神經(jīng)網(wǎng)絡(luò)的功能與性能，以及訓(xùn)練的成本等問(wèn)題。隱藏層的神經(jīng)元越多，網(wǎng)絡(luò)層數(shù)越多，那么它的表示能力越強(qiáng)，處理的問(wèn)題也就更復(fù)雜。

因此，隱藏層的設(shè)計(jì)也需要根據(jù)不同的任務(wù)類型進(jìn)行適當(dāng)?shù)姆夯驼{(diào)整，并且設(shè)計(jì)一個(gè)良好的隱藏層也需要豐富的理論基礎(chǔ)以及實(shí)踐經(jīng)驗(yàn)。

隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，隱藏層會(huì)變得越來(lái)越多，越來(lái)越復(fù)雜；也可能會(huì)出現(xiàn)更加新穎和強(qiáng)大的架構(gòu)。

輸出層

輸出層是神經(jīng)網(wǎng)絡(luò)模型中的最后一層，其作用是輸出神經(jīng)網(wǎng)絡(luò)的處理結(jié)果，嚴(yán)格來(lái)說(shuō)是隱藏層的處理結(jié)果；輸出層一般只有一個(gè)神經(jīng)元，其值就是神經(jīng)網(wǎng)絡(luò)的處理結(jié)果。

在訓(xùn)練的過(guò)程中，輸出層的輸出結(jié)果需要使用損失函數(shù)計(jì)算損失差，而訓(xùn)練的目的就是不斷的減少損失差。

輸出層同樣也需要根據(jù)不同的任務(wù)類型，進(jìn)行適當(dāng)?shù)姆夯驼{(diào)整設(shè)計(jì)，這樣才能滿足更加復(fù)雜的輸出任務(wù)。

總結(jié)

根據(jù)不同的任務(wù)，神經(jīng)網(wǎng)絡(luò)也分為不同的類型，比如分類任務(wù)，文本處理任務(wù)，圖片處理任務(wù)等。

根據(jù)不同的網(wǎng)絡(luò)架構(gòu)也有不同的實(shí)現(xiàn)方式，比如全鏈接層就需要所有神經(jīng)元參與計(jì)算。

在由多層網(wǎng)絡(luò)組成的隱藏層中，每一層的輸入都是上層的輸出，每一層的輸出就是下一層的輸入。

簡(jiǎn)單來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)就由其三大組件(輸入層，隱藏層和輸出層)組成，每一層根據(jù)不同的任務(wù)都會(huì)有不同的實(shí)現(xiàn)，重要的就是其泛化和擴(kuò)展的能力。

最后，經(jīng)過(guò)損失函數(shù)計(jì)算損失差，并通過(guò)反向傳播的方式，使用優(yōu)化器優(yōu)化網(wǎng)絡(luò)各層的參數(shù)，最后使模型達(dá)到最優(yōu)。

02、神經(jīng)元的原理

神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的最小組成單位，每一層神經(jīng)網(wǎng)絡(luò)都至少由一個(gè)神經(jīng)元到多個(gè)神經(jīng)元組成。

如下圖所示就是一個(gè)神經(jīng)元的計(jì)算模型圖：

圖中左邊橙色部分作為輸入，其值來(lái)源于上層網(wǎng)絡(luò)神經(jīng)元的輸出，每一個(gè)輸入就代表著上層的一個(gè)神經(jīng)元。

這時(shí)可能有人會(huì)奇怪，一個(gè)神經(jīng)元的輸出是固定值，那么如果下層網(wǎng)絡(luò)中有多個(gè)神經(jīng)元，每個(gè)神經(jīng)元都接受同樣的輸入，這樣還有什么意義？

這個(gè)就是權(quán)重的作用了，由多個(gè)上層神經(jīng)元作為輸入，每個(gè)神經(jīng)元都會(huì)有一個(gè)權(quán)重，不同的權(quán)重就會(huì)有不同的結(jié)果。

最簡(jiǎn)單的神經(jīng)元計(jì)算公式如下：

就是把每個(gè)神經(jīng)元的輸入Xi乘以權(quán)重Wi累加之后，在加上當(dāng)前神經(jīng)元的偏置值bias。

激活函數(shù)

輸入數(shù)據(jù)經(jīng)過(guò)神經(jīng)元計(jì)算之后，并不是直接進(jìn)行輸出，而是需要激活函數(shù)進(jìn)行計(jì)算，根據(jù)閾值判斷輸出結(jié)果。公式如上圖藍(lán)色框所示。

神經(jīng)元計(jì)算結(jié)果z需要作為激活函數(shù)的輸入，然后經(jīng)過(guò)計(jì)算產(chǎn)生輸出。

比如，當(dāng)激活函數(shù)的結(jié)果大于0.5時(shí)，輸入正確；小于0.5時(shí)輸出錯(cuò)誤。

這就是激活函數(shù)的作用。

公式如下，紫色部分作為輸入，w表示權(quán)重；綠色部分是神經(jīng)元的實(shí)現(xiàn)算法，最后經(jīng)過(guò)紅色部分激活函數(shù)產(chǎn)生輸出y。

如下所示，是M-P神經(jīng)元模型圖，其也是神經(jīng)元的經(jīng)典模型

本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/Ine8ULkG_Wd2SaNI2tQgJg??