總結

在項目中，如果你沒有任何參考，那么選擇2次方（即64、128、256、512、1024等）可以會更加直接和易于管理，然后對上限來說，batchsize大小最好<=數據集樣本數*0.1。

梯度下降算法

在更新模型參數時，我們一般會用到梯度下降算法。這個時候，我們就會有一個問題，每次拿多少訓練樣本進行更新參數呢？這個時候有兩個極端情況，資源夠，那我們把所有數據都丟進去，我們稱之為批量梯度下降法（Batch Gradient Descent，BGD）。另外一個極端，我們每次都是拿一個數據去訓練，此時我們稱之為隨機梯度下降法（Stochastic Gradient Descent，SGD）。

批量梯度下降法（BGD）的好處是穩定下降，loss下降得也快，但容易到極小值，而隨機梯度下降法（SGD）的梯度上引入了隨機噪聲，因此在非凸優化問題中，其相比批量梯度下 降更容易逃離局部最小值。

如果拿不同的批量來訓練模型來做圖像識別問題，實驗結果如圖所示，橫軸是批量大小，縱軸是正確率。結果是可能出乎一部分人的意料：批量大小越大，驗證集準確率越差。 這個是優化的問題，大的批量大小優化可能會有問題，小的批量大小優化的結果反而是比較好的。

有噪聲反而可能是好事

有可能存在的解釋是，批量梯度下降法因為沿著一個損失函數，所以比較容易出現局部極小值或者鞍點。而小批量梯度下降法每次都是挑一次批量計算損失，所以每一次更新參數的時候所使用的損失函數是有差異的。

在論文 “On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima”中，作者在不同數據集上訓練了六個網絡（包括全連接網絡、不同的卷積神經網絡），在很多不同的 情況都觀察到一樣的結果。

在小的批量，一個批量里面有256筆樣本。在大的批量中，批量大小等于數據集樣本數乘0.1,大的批量跟小的批量的訓練準確率（accuracy）差不多。 但就算是在訓練的時候結果差不多，測試的時候，大的批量比小的批量差，代表過擬合。

本文轉載自 ??沐白AI筆記??，作者： 楊沐白