模型訓練之數據集操作：矩陣變換
對神經網絡技術有所了解的人應該都知道，要想訓練一個高性能的神經網絡模型，除了神經網絡本身的設計之外，還一個非常重要的前提就是數據集的質量問題；因此，打造一個高質量的數據集就是一個必不可少的過程。
但具體怎么才能開發一個合格的數據集，這時就離不開對數據集的各種操作；而由于在神經網絡中，數據的主要載體是多維數組，也就是矩陣；因此一般情況下，數據集的數據格式也會以矩陣的形式存在。
而學會對矩陣的操作就是一個必不可少的技能之一；下面我們就以MINST數據集為例，來簡單介紹一下對數據集的操作過程。
數據集操作
MINST數據集是一個經典的數據集，其內容是一個手寫數字識別的數據集；對學習神經網絡技術的人來說，手寫數字識別就相當于編程入門中的Hello World。
因此，了解MINST數據集也是學習神經網絡技術的入門課程之一。
關于MINST數據集的下載方式，基本有兩種選擇；一種是自己手動下載，另一種是從pytorch官網下載，使用PyTorch的數據集API即可下載。
from torchvision import datasets
# 執行以下代碼即可從pytorch官網下載minst數據集到本地data目錄
datasets.MNIST(root='data', train=True, download=True)MINST數據集主要有四個壓縮文件組成，分別由train開頭的圖片數據(images)和標簽數據(labels)；以及t10k開頭的測試圖片數據(t10k-images)和標簽數據(t10k-labels)組成。
MNIST數據集的具體內容是由0?9手寫數字圖片和數字標簽所組成的，由60000個訓練樣本和10000個測試樣本組成，每個樣本都是一張28 * 28像素的灰度手寫數字圖片。如下圖所示。
由于下載的MINST數據集文件是已經處理好的矩陣格式，并且用二進制格式存儲，因此無法直接使用文本工具打開。
而我們可以使用python提供的numpy工具包，或者pytorch提供的工具包來讀取數據。
import numpy as np
import gzip
with gzip.open("./MNIST/train-images-idx3-ubyte.gz", 'rb') as f:
x_train = np.frombuffer(f.read(), np.uint8, offset=16)
print("MINST數據集信息打印, 數據集內容：%s， 類型: %s, 長度: %s, 矩陣數據類型: %s, 形狀: %s, 大小：%s, 維度: %s" % (x_train, type(x_train), len(x_train), x_train.dtype, x_train.shape, x_train.size, x_train.ndim))以上代碼輸出結果如下，可以明顯看出讀取結果是一個一維數組；并且長度為47040000；不是說數據集是六萬個28*28的手寫數字圖片嗎？為什么會是一個47040000長度的一維數組。
原因就在于此數據集是經過處理之后的數據集，為了存儲方便使用一維數組最簡單；因此，在使用過程中需要把數據變換成一個三維矩陣，也就是升維的操作；47040000 / (28 * 28) = 60000。
import numpy as np
import gzip
with gzip.open("./MNIST/train-images-idx3-ubyte.gz", 'rb') as f:
x_train = np.frombuffer(f.read(), np.uint8, offset=16)
print("MINST數據集信息打印, 數據集內容：%s， 類型: %s, 長度: %s, 矩陣數據類型: %s, 形狀: %s, 大小：%s, 維度: %s" % (x_train, type(x_train), len(x_train),
x_train.dtype, x_train.shape, x_train.size, x_train.ndim))
# 矩陣變換
x_train = x_train.reshape(-1, 28, 28)
print("MINST數據集信息變換之后打印, 數據集內容：%s， 類型: %s, 長度: %s, 矩陣數據類型: %s, 形狀: %s, 大小：%s, 維度: %s" % ( x_train, type(x_train), len(x_train), x_train.dtype, x_train.shape, x_train.size, x_train.ndim))結果如下圖所示：
經過變換之后，打印矩陣并顯示圖片：
import numpy as np
import gzip
from PIL import Image
with gzip.open("./MNIST/train-images-idx3-ubyte.gz", 'rb') as f:
x_train = np.frombuffer(f.read(), np.uint8, offset=16)
print("MINST數據集信息打印, 數據集內容：%s， 類型: %s, 長度: %s, 矩陣數據類型: %s, 形狀: %s, 大小：%s, 維度: %s" % (x_train, type(x_train), len(x_train), x_train.dtype, x_train.shape, x_train.size, x_train.ndim))
x_train = x_train.reshape(-1, 28, 28)
print("MINST數據集信息變換之后打印, 數據集內容：%s， 類型: %s, 長度: %s, 矩陣數據類型: %s, 形狀: %s, 大小：%s, 維度: %s" % ( x_train, type(x_train), len(x_train), x_train.dtype, x_train.shape, x_train.size, x_train.ndim))
print(len(x_train), x_train[0])
# 轉換為圖片 并顯示
pil_img = Image.fromarray(np.uint8(x_train[0]))
pil_img.show()執行以上代碼 用戶即可輸出手寫數字圖片。
