今天我們來講一講神經(jīng)網(wǎng)絡(luò)的參數(shù)到底是如何更新的！

    我們先來看看如下神經(jīng)網(wǎng)絡(luò)中的最后一個(gè)參數(shù)b3是怎樣進(jìn)行更新的。后面的章節(jié)再來講w1 w2 w3 b1 b2是如何更新的。

    我們先假設(shè)w1 w2 w3 b1 b2參數(shù)均已得到最優(yōu)解，分別如上圖中綠色數(shù)據(jù)所示。假設(shè)我們要擬合的曲線如下圖所示：

    我們先給b3賦一個(gè)默認(rèn)的初始值0。假設(shè)最上面的綠色曲線是我們要擬合的真實(shí)曲線，最下面的綠色曲線是當(dāng)前的預(yù)測(cè)曲線。

    我們先來求一個(gè)殘差平方和，即對(duì)于所有的輸入值，求出真實(shí)值-預(yù)測(cè)值的平方之和。

如下是殘差平方和公式：

    然后我們可以看到對(duì)于不同的b3，我們可以得到不同的預(yù)測(cè)曲線也就能得到不同的殘差平方和。SSR是殘差平方和，每個(gè)b3得到的預(yù)測(cè)曲線和殘差平方和的對(duì)應(yīng)關(guān)系如下圖所示。

    我們可以得到一個(gè)b3和殘差平方和的曲線，這時(shí)我們根據(jù)梯度下降法，對(duì)這條曲線進(jìn)行求導(dǎo)，當(dāng)斜率無限逼近0時(shí)，預(yù)測(cè)曲線最接近真實(shí)曲線的時(shí)候，此時(shí)的b3就是最優(yōu)解。

本文轉(zhuǎn)載自 ??人工智能訓(xùn)練營(yíng)??，作者： 小A學(xué)習(xí)