深度學習的進步也嚴重依賴于軟件基礎架構的進展。 軟件庫如： Torch(2011),  Theano(2012), DistBelief(2012), PyLearn2 (2013),  Caffe(2013), MXNet (2015) 和 TensorFlow(2015) 都能支持重要的研究項目或商業產品。

NN ：前饋BP神經網絡的庫

CNN ：卷積神經網絡的庫

DBN ：深度置信網絡的庫

SAE ：堆棧自動編碼器的庫

CAE ：卷積自動編碼器的庫

Util ：庫中使用的效用函數

Data ：數據存儲

tests ：用來驗證工具箱正在工作的測試

運行界面比較單一：

PyTorch

這個Pytorch庫的話，其實我沒怎么用，就是隨便試玩了下，個人感覺還是不要碰了，沒啥意思，我接下來也就簡單聊一下。 他是一個基于Python的科學計算包，目標用戶有兩類。一類是 為了使用GPU來替代numpy；另一類是一個深度學習援救平臺：提供最大的靈活性和速度。

以深度學習來說，可以使用 torch.nn 包來構建神經網絡。已知道autograd包，nn包依賴autograd包來定義模型并求導。一個nn.Module包含各個層和一個faward(input)方法，該方法返回output。

案例如下

import torch from torch.autograd 
 
import Variable import torch.nn   
 
import torch.nn.functional as F   
 
class Net(nn.Module):      
 
def __init__(self):          
 
super(Net, self).__init__()          
 
# 1 input image channel, 6 output channels, 5*5 square convolution          
 
# kernel           
 
self.conv1 = nn.Conv2d(1, 6, 5)                  
 
self.conv2 = nn.Conv2d(6, 16, 5)          
 
# an affine operation: y = Wx + b              
 
self.fc1 = nn.Linear(16 * 5 * 5, 120)              
 
self.fc2 = nn.Linear(120, 84)              
 
self.fc3 = nn.Linear(84, 10)       
 
def forward(self, x):          
 
# max pooling over a (2, 2) window 
 
x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2)) 
 
# If size is a square you can only specify a single number 
 
x = F.max_pool2d(F.relu(self.conv2(x)), 2) 
 
x = x.view(-1, self.num_flat_features(x)) 
 
x = F.relu(self.fc1(x)) 
 
x = F.relu(self.fc2(x)) 
 
x = self.fc3(x)          
 
return x       
 
def num_flat_features(self, x):          
 
size = x.size()[1:] 
 
# all dimensions except the batch dimension          
 
num_features = 1          
 
for s in size:              
 
num_features *= s          
 
return num_features 
 
net = Net()  
 
print(net) 

具體操作和細節過程，有興趣的可以抽空去玩玩！

Caffe

Caffe的作者為UC Berkeley大學的賈揚清。Caffe是一個c++/CUDA架構，支持命令行、Python、Matlab接口，可以在CPU/GPU上運行。

深度學習不斷在發展，其對應的實驗工具也隨著得到了大家的重視。Caffe就是現在流行的深度學習框架之一，工具內已經提前提供了模板，也就是該工具有現成的編程框架，而且可以與現狀流行的圖形計算GPU聯合使用，加快網絡訓練的速度，流行的神經網絡框架算法都可以在Caffe中運行，而且可以自己設置框架，因為Caffe已經提前就做好了各結構的定義，研究學者也可以根據自己的設計需求去進行相應的添加，設計出新的深度學習框架去完成所需的任務。

Caffe框架中，主要就是 Blobs ， Layers 和 Nets 三大類結構，而且由于是事前定義好的結構，所以在使用該框架的時候是不可以更改。

例如Caffe定義中最基本的隱層網絡，其定義如下：

name: “LogReg”  
layers {  
name: “mnist”  
type: DATA  
top: “data”  
top: “label”  
data_param {  
source: “input_leveldb”  
batch_size: 64  
}} 
 
layers {  
name: “ip”  
type: INNER_PRODUCT  
bottom: “data”  
top: “ip”  
inner_product_param {  
num_output: 2  
}} 
 
layers {  
name: “loss”  
type: SOFTMAX_LOSS  
bottom: “ip”  
bottom: “label”  
top: “loss”  
} 

TF

Google在2011年推出人工深度學習系統——DistBelief。通過DistBelief，Google能夠掃描數據中心數以千計的核心，并建立更大的神經網絡。這個系統將Google應用中的語音識別率提高了25%，以及在Google Photos中建立了圖片搜索，并驅動了Google的圖片字幕匹配實驗。DistBelief還存在不少不足和限制。它很難被設置，和Google內部的基礎設施聯系也過于緊密，這導致研究代碼機會不可能分享。  

針對以上問題，Google在2015年Google Research Blog宣布推出新一代人工智能學習系統——TensorFlow。  

TensorFlow是一個異構分布式系統上的大規模機器學習框架，移植性好（小到移動設備如手機，大到大規模集群，都能支持），支持多種深度學習模型。根據Google說法，TensorFlow是綜合的、靈活的、可移植的、易用的，更為關鍵的，它是開源的。同時，TensorFlow的速度相比前代DistBelief有了不小的提升，在一些跑分測試中，TensorFlow的得分是第一代系統的兩倍。

盡管如此，TensorFlow的效率仍然比不過其他大部分開源框架。不過，隨著TensorFlow源碼逐步開放，對新硬件、新設備、新的加速如cuDNN的支持力度不斷提升，其成為目前極具潛力的深度學習。

有興趣可以體驗下PlayGround，其是一個用于教學目的的簡單神經網絡的在線演示、實驗的圖形化平臺，非常強大地可視化了神經網絡的訓練過程。使用它可以在瀏覽器里訓練神經網絡，對 Tensorflow有一個感性的認識。

• TensorFlow 的每個計算流都必須構造為一個靜態圖,且缺乏符號性循環(symbolic loops),這會帶來一些計算困難；

• 沒有對視頻識別很有用的三維卷積(3-D convolution)；

• 盡管 TensorFlow 現在比起始版本快了 58 倍，但在執行性能方面依然落后于競爭對手。

今天就到此位置吧，感覺講的有點多，但是又不是很深入，有機會來一次深度學習工具專題，我們大家一起慢慢聊！