[[201203]]

一、為何要用Keras

如今在深度學(xué)習(xí)大火的時(shí)候，第三方工具也層出不窮，比較出名的有Tensorflow，Caffe，Theano，MXNet，在如此多的第三方框架中頻繁的更換無(wú)疑是很低效的，只要你能夠好好掌握其中一個(gè)框架，熟悉其原理，那么之后因?yàn)楦鞣N要求你想要更換框架也是很容易的。

那么sherlock用的是哪個(gè)框架呢?sherlock使用的是Google的開(kāi)源框架Tensorflow，因?yàn)镚oogle開(kāi)源了tensorflow之后其社區(qū)非常活躍，而且版本更新也非常穩(wěn)定，所以我就選擇了這個(gè)框架。對(duì)于框架之爭(zhēng)，在知乎上已經(jīng)有很多人在撕逼了，這個(gè)就好比哪種編程語(yǔ)言好這個(gè)問(wèn)題一樣。對(duì)于我們來(lái)講，選擇一個(gè)穩(wěn)定的框架，好好的學(xué)習(xí)deep learning才是重中之重，對(duì)于哪種框架更好的問(wèn)題，我們學(xué)好之后自然有自己的見(jiàn)解，所以前期切忌在刷知乎聽(tīng)完大神撕逼之后頻繁更換框架。

對(duì)于Tensorflow的安裝，以及CPU和GPU版本，各種系統(tǒng)的安裝網(wǎng)上已經(jīng)有很多人詳細(xì)的寫(xiě)過(guò)攻略了，可以自己去網(wǎng)上搜一搜，很容易就可以安裝成功。

選擇了Tensorflow之后，我們就可以愉快的開(kāi)始我們的深度學(xué)習(xí)之旅了。去Tensorflow的中文社區(qū)，可以看到有一些新手教程，網(wǎng)上也有很多學(xué)習(xí)材料，推薦看看stanford大學(xué)cs224d的課件，http://cs224d.stanford.edu/lectures/CS224d-Lecture7.pdf， 很詳細(xì)的介紹了tensorflow。然后你就可以寫(xiě)tensorflow的程序了。雖然說(shuō)tensorflow已經(jīng)是一個(gè)封裝好的框架，但是你發(fā)現(xiàn)你寫(xiě)一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)也需要很多行才能夠?qū)懲辏@個(gè)時(shí)候，就有很多的第三方插架來(lái)幫助你寫(xiě)網(wǎng)絡(luò)，也就是說(shuō)你用tensorflow要寫(xiě)10行，第三方插架幫你封裝了一個(gè)函數(shù)，就是把這10行集合在這個(gè)函數(shù)里面，那么你用1行，傳入相同的參數(shù)，就能夠達(dá)到10行相同的效果，如此簡(jiǎn)便并且節(jié)約時(shí)間，可以幫助很快的實(shí)現(xiàn)我們的想法。

Keras Documentation就是Keras的官方文檔，里面可以查閱所有的函數(shù)，并且可以在github上看他的開(kāi)源代碼，非常方便。安裝也很簡(jiǎn)單，打開(kāi)終端，輸入pip install keras 就可以等待安裝了。

下面就給一個(gè)簡(jiǎn)單的例子，來(lái)看一看Keras到底有多簡(jiǎn)單。

from keras.models import Sequential 
 
model = Sequential()  

引入sequential，這個(gè)就是一個(gè)空的網(wǎng)絡(luò)結(jié)構(gòu)，并且這個(gè)結(jié)構(gòu)是一個(gè)順序的序列，所以叫Sequential，Keras里面還有一些其他的網(wǎng)絡(luò)結(jié)構(gòu)。

from keras.layers import Dense, Activation 
 
model.add(Dense(units=64, input_dim=100)) 
 
model.add(Activation('relu')) 
 
model.add(Dense(units=10)) 
 
model.add(Activation('softmax'))  

可以看到加入層很簡(jiǎn)單，只需要寫(xiě).add，后面是要加的層的類(lèi)型。

model.compile(loss='categorical_crossentropy', 
 
optimizer='sgd', 
 
metrics=['accuracy'])  

一旦你寫(xiě)好了網(wǎng)絡(luò)之后，就可以用compile編譯整個(gè)網(wǎng)絡(luò)，看參數(shù)設(shè)置有沒(méi)有問(wèn)題

model.compile(loss=keras.losses.categorical_crossentropy, 
 
optimizer=keras.optimizers.SGD(lr=0.01,momentum=0.9,nesterov=True))  

你也可以自定義其中的優(yōu)化函數(shù)，就像上面這樣，’sgd’是Keras已經(jīng)寫(xiě)好了一些默認(rèn)參數(shù)的優(yōu)化函數(shù)，你可以自己重新定義參數(shù)，得到一個(gè)優(yōu)化函數(shù)。

model.fit(x_train,y_train,epochs=5,batch_size=32) 

這個(gè)就像scikit-learn一樣訓(xùn)練模型。

loss_and_metrics=model.evaluate(x_test,y_test,batch_size=128) 

這個(gè)就是評(píng)估訓(xùn)練結(jié)果。

classes=model.predict(x_test,batch_size=128) 

或者是通過(guò)predict進(jìn)行預(yù)測(cè)。

看了上面的代碼，相信很多熟悉scikit-learn的同學(xué)都很親切，因?yàn)榇_實(shí)很簡(jiǎn)便，跟scikit-learn也有著類(lèi)似的語(yǔ)法。

二、開(kāi)始學(xué)習(xí)CNN

在理解CNN之前，我們有必要先理解一下什么是神經(jīng)網(wǎng)絡(luò)，這樣才能開(kāi)始了解更高級(jí)的卷積神經(jīng)網(wǎng)絡(luò)。

要學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)當(dāng)然有很多途徑，網(wǎng)上不少的大牛寫(xiě)了很多攻略，有的推崇從理論到工程完成深度學(xué)習(xí)，有的希望從工程出發(fā)發(fā)現(xiàn)問(wèn)題，解決問(wèn)題。各種各樣的方式都有不同的人去嘗試，攻略也是一大推，這使得不少的小白直接倒在了選擇材料的路上，一直在補(bǔ)先修知識(shí)，待到熱情結(jié)束就放棄了學(xué)習(xí)，連卷積網(wǎng)絡(luò)都不知道是什么，大大地打擊了大家的學(xué)習(xí)熱情。今天，sherlock在這里給大家推薦一個(gè)學(xué)習(xí)材料，保證你能夠快速入門(mén)cnn，出去裝逼也能夠和別人聊幾句。

這個(gè)材料是什么呢，就是大名鼎鼎的standford的cs231n這門(mén)課程。CS231n Convolutional Neural Networks for Visual Recognitionstanford大學(xué)確實(shí)算是深度學(xué)習(xí)和人工智能領(lǐng)域非常牛逼的學(xué)校。

神經(jīng)網(wǎng)絡(luò)

廢話(huà)不多說(shuō)，開(kāi)始學(xué)習(xí)我們的神經(jīng)網(wǎng)絡(luò)。

這是一張腦神經(jīng)的圖片，神經(jīng)網(wǎng)絡(luò)的發(fā)明也是由此開(kāi)始的，這就是所謂的一個(gè)神經(jīng)元，上面有各種接受突觸，然后通過(guò)一個(gè)腦神經(jīng)來(lái)接受，最后得到輸出的結(jié)果。

那么由這張腦神經(jīng)圖能夠抽象出來(lái)的神經(jīng)網(wǎng)絡(luò)是什么呢?就是下面這個(gè)神經(jīng)網(wǎng)絡(luò)模型。

這個(gè)怎么理解呢?就是輸入一個(gè)向量，然后給向量的每一個(gè)元素分配一個(gè)權(quán)重，然后通過(guò)權(quán)重求和得到一個(gè)結(jié)果，然后將這個(gè)結(jié)果輸入一個(gè)激活函數(shù)，得到最后的輸出結(jié)果。

激活函數(shù)又是什么鬼?激活函數(shù)的出現(xiàn)是因?yàn)槿四X的構(gòu)造，人腦里面接受信息得到結(jié)果這個(gè)過(guò)程是非線(xiàn)性的，比如你看到一樣?xùn)|西，你不可能保留這個(gè)東西的全部特征，你會(huì)重點(diǎn)觀(guān)察你感興趣的地方，這就是非線(xiàn)性的，也就是說(shuō)需要一個(gè)非線(xiàn)性變化將輸入的結(jié)果變換為非線(xiàn)性的結(jié)果。現(xiàn)在常用的非線(xiàn)性函數(shù)就是Relu(x) = max(x, 0)，就是將小于0的部分去掉，只保留大于0的部分。

這就是單元的輸入和輸出，將這些單元合在一起就是一個(gè)神經(jīng)網(wǎng)絡(luò)。

這就是簡(jiǎn)單的一層網(wǎng)絡(luò)，也可以由多層網(wǎng)絡(luò)

這里面的input layer就是所謂的單個(gè)訓(xùn)練集的維數(shù)，將所有的訓(xùn)練集輸入就可以開(kāi)始訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)。

Keras實(shí)現(xiàn)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)

知道了神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)和原理，我們就可以開(kāi)始使用keras去實(shí)現(xiàn)一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)。

import keras 
 
from keras.models import Sequential 
 
from keras.layers import Dense 
 
import numpy as np 

導(dǎo)入必要的package  

1. x=np.array（[[0,1,0],[0,0,1],[1,3,2],[3,2,1]]） 
2.  
3. y=np.array（[0,0,1,1]）.T 

設(shè)定輸入的x和y 

1. simple_model=Sequential（） 
2.  
3. simple_model.add（Dense（5,input_shape=（x.shape[1],）,activation='relu',name='layer1'）） 
4.  
5. simple_model.add（Dense（4,activation='relu',name='layer2'）） 
6.  
7. simple_model.add（Dense（1,activation='sigmoid',name='layer3'））

輸入一個(gè)三層的神經(jīng)網(wǎng)絡(luò)，中間的hidden layer的元素個(gè)數(shù)是5和4，最后一層輸出一個(gè)結(jié)果 

1. simple_model.compile（optimizer='sgd',loss='mean_squared_error'） 

complie這個(gè)簡(jiǎn)單的模型 

1. simple_model.fit（x,y,epochs=20000） 

訓(xùn)練20000次模型 

1. simple_model.predict（x[0:1]）  

可以預(yù)測(cè)一下第一個(gè)輸入的x的結(jié)果與實(shí)際的是否相符。

上面就是一個(gè)簡(jiǎn)單三層網(wǎng)絡(luò)的keras實(shí)現(xiàn)，接下來(lái)我們將正式進(jìn)入Convolutional Neural Network

三、Convolutional Neural Network

前面給大家推薦了一門(mén)好課cs231n，本篇文章也是按照這個(gè)思路來(lái)的。

基本結(jié)構(gòu)

首先解釋一下什么是卷積，這個(gè)卷積當(dāng)然不是數(shù)學(xué)上的卷積，這里的卷積其實(shí)表示的是一個(gè)三維的權(quán)重，這么解釋起來(lái)可能不太理解，我們先看看卷積網(wǎng)絡(luò)的基本結(jié)構(gòu)。

通過(guò)上面的圖我們清楚地了解到卷積網(wǎng)絡(luò)和一般網(wǎng)絡(luò)結(jié)構(gòu)上面的差別，也可以理解為卷積網(wǎng)絡(luò)是立體的，而一般的網(wǎng)絡(luò)結(jié)構(gòu)是平面的。

卷積層

了解完了基本的結(jié)構(gòu)之后，我們就要了解cnn最重要的一個(gè)部分，也是最為創(chuàng)新的一個(gè)部分，卷積層。首先用一張圖片來(lái)比較一下卷積網(wǎng)絡(luò)到底創(chuàng)新在什么地方。

我們通過(guò)這個(gè)結(jié)構(gòu)就可以清晰地看到卷積網(wǎng)絡(luò)到底是怎么實(shí)現(xiàn)的。首先右邊是傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)，在前面我們已經(jīng)詳細(xì)的解釋過(guò)了。而左邊的圖片，我們首先看看圖中最左邊的結(jié)構(gòu)，你肯定會(huì)好奇為什么是32x32x3的一塊立體方塊。這個(gè)32×32代表的是像素點(diǎn)，說(shuō)白了也就是圖片的大小，這個(gè)大小是你可以設(shè)置的，你可以設(shè)置為50×50，也可以是256×256，這都取決與圖片的大小，那么3表示什么呢?3其實(shí)表示的是RGB的三個(gè)通道，RGB也是什么?RGB表示red，green，blue，這三種顏色的各種組合疊加可以形成各種各樣的顏色，所以任何一張照片都可以用左邊這種圖形來(lái)表示。

那么中間這個(gè)小方塊又表示什么呢?這個(gè)就是我們要重點(diǎn)講的卷積。所謂的卷積，就是這種小方塊，我們?cè)O(shè)置一個(gè)小方塊的大小，但是這個(gè)小方塊的厚度必須和左邊的這個(gè)大方塊的厚度是一樣的，大方塊每一個(gè)像素點(diǎn)由一個(gè)0到255的數(shù)字表示，這樣我們就可以賦予小方塊權(quán)重，比如我們?nèi)⌒》綁K的大小是3×3，我們要求厚度必須要和左邊的大方塊厚度一樣，那么小方塊的的大小就為3x3x3，我們就可以賦予其3x3x3個(gè)權(quán)重，然后我們就可以開(kāi)始計(jì)算卷積的結(jié)果，將小方塊從大方塊的左上角開(kāi)始，一個(gè)卷積小方塊所覆蓋的范圍是3x3x3，然后我們將大方塊中3x3x3的數(shù)字和小方塊中的權(quán)重分別相乘相加，再加上一個(gè)偏差，就可以得到一個(gè)卷積的結(jié)果，可以抽象的寫(xiě)成Wx+b這種形式，這就是圖上所顯示的結(jié)果，然后我們可以設(shè)置小方塊的滑動(dòng)距離，每次滑動(dòng)就可以形成一個(gè)卷積的計(jì)算結(jié)果，然后將整張大圖片滑動(dòng)覆蓋之后就可以形成一層卷積的結(jié)果，我們看到圖中的卷積結(jié)果是很厚的，也就是設(shè)置了很多層卷積。總結(jié)來(lái)說(shuō)，每層卷積就是一個(gè)卷積核在圖片上滑動(dòng)求值，然后設(shè)置多個(gè)卷積核就可以形成多層的卷積層。

池化層

講完卷積層，接下來(lái)就要講一下池化層。為什么會(huì)有池化層的出現(xiàn)呢?是因?yàn)椴粩嗟淖鼍矸e，得到的中間結(jié)果會(huì)越來(lái)越厚，卷積就相當(dāng)于提取圖片中的特征，所以卷積層一般會(huì)設(shè)置得越來(lái)越厚，不然你就無(wú)法從前面的結(jié)果來(lái)提取更多的特征。這樣就會(huì)導(dǎo)致中間的結(jié)果會(huì)越來(lái)越大，計(jì)算會(huì)越來(lái)越慢，所以提出了池化層。

所謂的池化層，就是將圖片的大小縮小的一種處理方式。我們可以先看看下面的圖片。

通過(guò)這個(gè)圖片，我們可以清楚地看到池化層是怎么處理的。池化層也是需要先設(shè)置一個(gè)窗口，但是這個(gè)小窗口的厚度是1，而不再是前一層輸出的結(jié)果的厚度。然后有兩種處理方式，一種是取這個(gè)小窗口里面所有元素的最大值來(lái)代表這個(gè)小窗口，一種是取平均值，然后將小窗口滑動(dòng)，在第二的位置再做同樣的處理，上層網(wǎng)絡(luò)輸出方塊的每一層做完之后就進(jìn)入這個(gè)大方塊的下一層做同樣的操作，這個(gè)處理辦法就可以讓整個(gè)大方塊的大小變小，可以看看上面的圖片的左邊。右邊是一個(gè)簡(jiǎn)單的一層厚度，取最大值的例子。

實(shí)現(xiàn)Lenet

講完了卷積網(wǎng)絡(luò)的基本結(jié)構(gòu)之后，你是不是已經(jīng)迫不及待希望能夠?qū)崿F(xiàn)一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)了呢?卷積網(wǎng)絡(luò)發(fā)展的特別迅速，最早是由Lecun提出來(lái)的，Lenet成為cnn的鼻祖，接下來(lái)他的學(xué)生Alex提出了層數(shù)更深的Alexnet，然后2013年又提出了VGGnet，有16層和19層兩種，這些都只是在層數(shù)上面的加深，并沒(méi)有什么其他的創(chuàng)新，而之后google提出了inception net在網(wǎng)絡(luò)結(jié)構(gòu)上實(shí)現(xiàn)了創(chuàng)新，提出了一種inception的機(jī)構(gòu)，facebook ai 實(shí)驗(yàn)室又提出了resnet，殘差網(wǎng)絡(luò)，實(shí)現(xiàn)了150層的網(wǎng)絡(luò)結(jié)構(gòu)可訓(xùn)練化，這些我們之后會(huì)慢慢講到。

接下來(lái)我們就來(lái)實(shí)現(xiàn)一下最簡(jiǎn)單的Lenet，使用mnist手寫(xiě)子體作為訓(xùn)練集。

import keras 
 
from keras.datasets import mnist 
 
（x_train, y_train）, （x_test,y_test） =mnist.load_data（） 
 

導(dǎo)入必要的庫(kù)和數(shù)據(jù)集 

1. x_train=x_train.reshape（-1,28,28,1） 
2.  
3. x_test=x_test.reshape（-1,28,28,1） 
4.  
5. x_train=x_train/255. 
6.  
7. x_test=x_test/255. 
8.  
9. y_train=keras.utils.to_categorical（y_train） 
10.  
11. y_test=keras.utils.to_categorical（y_test）

處理數(shù)據(jù)，讓數(shù)據(jù)的shape是（28, 28, 1），然后label做一個(gè)one-hot encoding處理，比如類(lèi)別是3，那么變成[0, 0, 1 ,0, 0, 0, 0, 0, 0, 0]。 

1. from keras.layers import Conv2D,MaxPool2D,Dense,Flatten 
2.  
3. from keras.models import Sequential 
4.  
5. lenet=Sequential（） 
6.  
7. lenet.add（Conv2D（6,kernel_size=3,strides=1,padding='same',input_shape=（28, 28, 1））） 
8.  
9. lenet.add（MaxPool2D（pool_size=2,strides=2）） 
10.  
11. lenet.add（Conv2D（16,kernel_size=5,strides=1,padding='valid'）） 
12.  
13. lenet.add（MaxPool2D（pool_size=2,strides=2）） 
14.  
15. lenet.add（Flatten（）） 
16.  
17. lenet.add（Dense（120）） 
18.  
19. lenet.add（Dense（84）） 
20.  
21. lenet.add（Dense（10,activation='softmax'））  

構(gòu)建lenet

lenet.compile('sgd',loss='categorical_crossentropy',metrics=['accuracy']) 

編譯

lenet.fit(x_train,y_train,batch_size=64,epochs=50,validation_data=[x_test,y_test]) 

訓(xùn)練50次，得到結(jié)果如下

lenet.save('myletnet.h5') 

可以保存訓(xùn)練好的模型

總結(jié)

OK， 這就是我們寫(xiě)的一個(gè)超級(jí)簡(jiǎn)單的Lenet，訓(xùn)練50次得到的訓(xùn)練準(zhǔn)確率已經(jīng)達(dá)到0.9939，測(cè)試準(zhǔn)確率達(dá)到0.9852。