8個深度學習中常用的激活函數(shù)
激活函數(shù)，又稱轉換函數(shù)，是設計神經(jīng)網(wǎng)絡的關鍵。激活函數(shù)在某種意義上是重要的，因為它被用來確定神經(jīng)網(wǎng)絡的輸出。它將結果值映射為0到1或-1到1等(取決于函數(shù))。激活函數(shù)還有另一個名稱，稱為Squashing函數(shù)，當限制了激活函數(shù)的范圍時使用這個名稱。激活函數(shù)應用于神經(jīng)網(wǎng)絡的每個節(jié)點，并決定該神經(jīng)元是否應該被“觸發(fā)”/“激活”。
為什么選擇激活函數(shù)是非常重要的。
當在隱藏層和輸出層中實現(xiàn)時，激活函數(shù)的選擇非常關鍵。模型的準確性和損失很大程度上依賴于激活函數(shù)。此外，必須根據(jù)您對模型的期望來選擇它們。例如，在二值分類問題中，sigmoid函數(shù)是一種最優(yōu)選擇。
激活函數(shù)類型。大致可分為兩類:
線性激活函數(shù)。
非線性激活函數(shù)。
為了方便展示我們導入如下庫：
- import math as m
- import matplotlib.pyplot as plt
- import numpy as np
- import tensorflow as tf
- from tensorflow import keras
- from tensorflow.keras import layers
Sigmoid
sigmoid激活函數(shù)也稱為logistic函數(shù)。Sigmoid函數(shù)在回歸分類問題中非常流行。sigmoid函數(shù)給出的值的范圍是0和1。
- def sigmoid(x):
- return 1 / (1 + m.exp(-x))values_of_sigmoid = []
- values_of_x = []
- for i in range(-500,500,1):
- i = i*0.01
- values_of_x.append(i)
- values_of_sigmoid.append(sigmoid(i))plt.plot( values_of_x ,values_of_sigmoid)
- plt.xlabel("values of x")
- plt.ylabel("value of sigmoid")
tanH
這個函數(shù)非常類似于sigmoid激活函數(shù)。這個函數(shù)在-1到1的范圍內(nèi)接受任何實值作為輸入和輸出值。輸入越大(越正)，輸出值越接近1.0，而輸入越小(越負)，輸出越接近-1.0。Tanh激活函數(shù)計算如下。
- def tanh(x):
- return (m.exp(x) - m.exp(-x)) / (m.exp(x) + m.exp(-x))values_of_tanh = []
- values_of_x = []
- for i in range(-500,500,1):
- i = i*0.001
- values_of_x.append(i)
- values_of_tanh.append(tanh(i))plt.plot( values_of_x ,values_of_tanh)
- plt.xlabel("values of x")
- plt.ylabel("value of tanh")
Softmax
Softmax激活函數(shù)輸出一個和為1.0的值向量，可以解釋為類隸屬度的概率。Softmax是argmax函數(shù)的“軟”版本，它允許一個“贏家通吃”函數(shù)的似然輸出。
- def softmax(x):
- e_x = np.exp(x - np.max(x))
- return e_x / e_x.sum()values_of_x = [i*0.01 for i in range(-500,500)]
- plt.plot(scores ,softmax(values_of_x))
- plt.xlabel("values of x")
- plt.ylabel("value of softmax")
RELU 線性整流單元
ReLU可能是用于隱藏層的最常見的函數(shù)。它還可以有效地克服其他以前流行的激活函數(shù)(如Sigmoid和Tanh)的限制。具體來說，它不太容易受到阻止深度模型被訓練的梯度下降消失問題的影響，盡管它可能會遇到諸如飽和單元等其他問題。
- def ReLU(x):
- return max(0,x)values_of_relu = []
- values_of_x = []
- for i in range(-500,500,1):
- i = i*0.01
- values_of_x.append(i)
- values_of_relu.append(ReLU(i))plt.plot(values_of_x,values_of_relu)
Leaky ReLU
ReLU的問題:當給ReLU一個負值時，它立即變成零，這降低了模型合適地擬合或從數(shù)據(jù)訓練的能力。這意味著ReLU激活函數(shù)的任何負輸入都會在圖中立即將該值轉換為零，這反過來又會通過不適當?shù)赜成湄撝刀绊懡Y果圖。
為了克服這個問題，Leaky ReLU被引入。
- def leaky_ReLU(x):
- return max(0.1*x,x)values_of_L_relu = []
- values_of_x = []
- for i in range(-500,500,1):
- i = i*0.01
- values_of_x.append(i)
- values_of_L_relu.append(leaky_ReLU(i))plt.plot(values_of_x,values_of_L_relu)
下面幾個函數(shù)都是RELU的變體基本上都是與Leaky 類似優(yōu)化了激活函數(shù)負值時的返回
ELU
- activation_elu = layers.Activation(‘elu’)x = tf.linspace(-3.0, 3.0, 100)
- y = activation_elu(x) # once created, a layer is callable just like a functionplt.figure(dpi=100)
- plt.plot(x, y)
- plt.xlim(-3, 3)
- plt.xlabel(“Input”)
- plt.ylabel(“Output”)
- plt.show()
SELU
- activation_selu = layers.Activation('selu')x = tf.linspace(-3.0, 3.0, 100)
- y = activation_selu(x) # once created, a layer is callable just like a functionplt.figure(dpi=100)
- plt.plot(x, y)
- plt.xlim(-3, 3)
- plt.xlabel("Input")
- plt.ylabel("Output")
- plt.show()
Swish
- activation_swish = layers.Activation(‘swish’)x = tf.linspace(-3.0, 3.0, 100)
- y = activation_swish(x) # once created, a layer is callable just like a functionplt.figure(dpi=100)
- plt.plot(x, y)
- plt.xlim(-3, 3)
- plt.xlabel(“Input”)
- plt.ylabel(“Output”)
- plt.show()
總結
常用于隱藏層激活函數(shù):
一般遞歸神經(jīng)網(wǎng)絡使用Tanh或sigmoid激活函數(shù)，甚至兩者都使用。例如，LSTM通常對循環(huán)連接使用Sigmoid激活，對輸出使用Tanh激活。
1.多層感知器(MLP): ReLU激活函數(shù)。
2.卷積神經(jīng)網(wǎng)絡(CNN): ReLU激活函數(shù)。
3.遞歸神經(jīng)網(wǎng)絡:Tanh和/或Sigmoid激活函數(shù)。
如果你不確定使用哪個激活函數(shù)，你肯定可以嘗試不同的組合，并尋找最適合的，但是可以從RELU開始
輸出層激活功能:
輸出層激活函數(shù)必須根據(jù)你要解決的問題類型來選擇。例如，如果你有一個線性回歸問題，那么線性激活函數(shù)將是有用的。下面是您可能面臨的一些常見問題和使用的激活函數(shù)。
二進制分類:一個節(jié)點，sigmoid激活。
多類分類:每個類一個節(jié)點，softmax激活。
多標簽分類:每個類一個節(jié)點，sigmoid激活。
以下是一些常用激活函數(shù)的公式和可視化顯示，希望對你有幫助
