什么是神經網絡—神經網絡基本思想:曲線擬合器
一句話總結,神經網絡的基本思想就是一個曲線/曲面擬合器。
?????

圖片中的左上角的綠色曲線是我們想要通過神經網絡擬合的曲線。圖片右下角藍色和橙色的曲線就是神經網絡擬合過程。
假設我們在Dosage輸入一個點0,我們看藍色這條線。經過wx+b得到一個線性變換的數值。其中,w是-34.4,b是2.14,x是0,wx+b=2.14。線性變換在神經網絡中的作用是什么呢?
在神經網絡中,線性變換主要有以下作用:
首先,線性變換可以對輸入數據進行特征提取和表示。它將原始輸入數據通過權重 重新組合和縮放,使得數據轉換為一種新的表示形式,這種形式可能更有助于后續的處理。例如,在圖像識別神經網絡中,輸入的像素值通過線性變換可以突出圖像中的某些邊緣、紋理等特征,為識別物體輪廓等提供基礎。
其次,線性變換能夠對數據進行空間變換。它改變了數據在特征空間中的分布,在一定程度上對數據進行降維或者升維操作。假設原始數據是高維的,通過合適的線性變換,可以將其映射到一個相對低維的空間,這樣有助于減少計算量并且去除一些冗余信息。
最后,線性變換是構建復雜神經網絡的基礎模塊。雖然神經網絡整體是非線性的,但它是由多個線性變換與非線性激活函數交替組合而成。這些線性變換逐步調整數據的表示,使得神經網絡能夠逐步學習輸入和輸出之間的復雜映射關系。
Dosage經過線性變換后得到2.14,然后我們將2.14作為一個輸入輸入到激活函數中,比如說sigmoid函數,sigmoid函數的公式我們都知道:??

我們得到0.895。
我們都知道激活函數的作用是引入非線性,什么是非線性,就是彎曲性,就是讓直線可以彎曲,就是讓平面可以凹凸。
Dosage的值是0.1,經過wx+b和激活函數后,我們得到0.214。我們繼續增大Dosage的值到1, 經過wx+b和激活函數后,我們得到0。這里我們可以得到一個曲線圖形如下圖所示:

然后我們再將其乘以-1.3后得到這樣的曲線。??????

我們意識到,其實這個曲線就是激活函數的一個切片的翻轉。

這就是為什么我們說激活函數擁有非線性。
接下來講下面的橙色曲線,和上面的藍色曲線同理。w是-2.52,b是1.29。我們將Dosage的輸入范圍設置為(0,1),經過sigmoid激活函數。

然后再將其乘以2.28我們可以得到這樣的一條橙色曲線。

我們意識到,其實這個曲線就是激活函數的一個切片的拉伸。
我們將藍色和橙色的曲線相加就可以得到我們想要的綠色曲線。這條綠色曲線就是我們想要擬合的用來預測的曲線圖形。????

由此我們可以得到如下結論:
神經網絡的輸入就是將影響輸出的因素量化并且進行線性組合,使其可以反應各個因素的權重,多重的線性組合可以表示更復雜的關系。然后使用多層每層多個激活函數進行非線性組合,使直線擁有拐點和曲線去擬合我們想要得到的曲線。然后使用反向傳播去校正各個權重參數,這就是神經網絡的基本思想。
本文轉載自 ??人工智能訓練營??,作者: 小A學習

















