【51CTO.com快譯】深度神經網絡(DNN)需要大量訓練數據，即使微調模型也需要大量訓練數據。那么您如何知道是否已用了足夠的數據?如果是計算機視覺(CV)模型，您始終可以查看測試錯誤。但是如果微調BERT或GPT之類的大型transformer模型，又該如何?

• 評估模型的最佳度量指標是什么?
• 您如何確信已用足夠的數據訓練了模型?
• 您的客戶如何確信?

WeightWatcher可助您一臂之力。

pip install weightwatcher 

WeightWatcher是一種開源診斷工具，用于評估(預)訓練和微調的深度神經網絡的性能。它基于研究深度學習為何有效的前沿成果。最近，它已在《自然》雜志上刊登。

本文介紹如何使用WeightWatcher來確定您的DNN模型是否用足夠的數據加以訓練。

我們在本文中考慮GPT vs GPT2這個例子。GPT是一種NLP Transformer模型，由OpenAI開發，用于生成假文本。最初開發時，OpenAI發布了GPT模型，該模型專門用小的數據集進行訓練，因此無法生成假文本。后來，他們認識到假文本是個好生意，于是發布了GPT2，GPT2就像GPT 一樣，但用足夠的數據來加以訓練，確保有用。

我們可以將WeightWatcher運用于GPT和GPT2，比較結果；我們將看到WeightWatcher log spectral norm和 alpha(冪律)這兩個度量指標可以立即告訴我們GPT模型出了岔子。這在論文的圖6中顯示;

圖 6

我們在這里將詳細介紹如何針對WeightWatcher冪律(PL)alpha度量指標執行此操作，并解釋如何解讀這些圖。

建議在Jupiter筆記本或Google Colab中運行這些計算。(作為參考，您還可以查看用于在論文中創建圖解的實際筆記本，然而這里使用的是舊版本的WeightWatcher)。

出于本文需要，我們在WeightWatcher github代碼存儲庫中提供了切實有效的筆記本。

WeightWatcher了解基本的Huggingface模型。的確，WeightWatcher支持以下：

• TF2.0/Keras
• pyTorch 1.x
• HuggingFace
• 很快會支持ONNX(當前主干中)

目前，我們支持Dense層和Conv2D層。即將支持更多層。針對我們的NLP Transformer模型，我們只需要支持Dense層。

首先，我們需要GPT和GPT2 pyTorch模型。我們將使用流行的HuggingFace transformers軟件包。

!pip install transformers 

其次，我們需要導入pyTorch和weightwatcher

Import torch 
Import weightwatcher as ww 

我們還需要pandas庫和matplotlib庫來幫助我們解讀weightwatcher度量指標。在Jupyter筆記本中，這看起來像：

import pandas as pd 
import matplotlib 
import matplotlib.pyplot as plt  
%matplotlib inline 

我們現在導入transformers軟件包和2個模型類

import transformers 
from transformers import OpenAIGPTModel,GPT2Model 

我們要獲取2個預訓練的模型，并運行model.eval()

gpt_model = OpenAIGPTModel.from_pretrained('openai-gpt') 
gpt_model.eval(); 
gpt2_model = GPT2Model.from_pretrained('gpt2') 
gpt2_model.eval(); 

想使用WeightWatcher分析我們的GPT模型，只需創建一個watcher實例，然后運行 ​​watcher.analyze()。這將返回的Pandas數據幀，附有每一層的度量指標。

watcher = ww.WeightWatcher(model=gpt_model) 
gpt_details = watcher.analyze() 

細節數據幀報告可用于分析模型性能的質量度量指標——無需訪問測試數據或訓練數據。最重要的度量指標是冪律度量指標。WeightWatcher報告每一層 的。GPT模型有近50層，因此將所有層 alpha作為直方圖(使用pandas API)一次性檢查顯得很方便。

gpt_details.alpha.plot.hist(bins=100, color='red', alpha=0.5, density=True, label='gpt') 
plt.xlabel(r"alpha $(\alpha)$ PL exponent") 
plt.legend() 

這繪制了GPT模型中所有層的值的密度。

圖2

從這個直方圖中，我們可以立即看到模型的兩個問題

•峰值高于充分訓練的模型的最佳值。

•有幾個異常值是，表明幾個層訓練欠佳。

所以對GPT一無所知，也從未見過測試訓練或訓練數據，WeightWatcher告訴我們這個模型永遠不該進入生產環境。

現在不妨看看GPT2，它有相同的架構，但使用更多更好的數據加以訓練。我們再次使用指定的模型創建一個watcher實例，然后運行 ​​watcher.analyze()

watcher = ww.WeightWatcher(model=gpt2_model) 
gpt2_details = watcher.analyze() 

現在不妨比較GPT和GPT2的冪律alpha度量指標。我們就創建2個直方圖，每個模型1個直方圖，并疊加這2個圖。

gpt_details.alpha.plot.hist(bins=100, color='red', alpha=0.5, density=True, label='gpt') 
gpt2_details.alpha.plot.hist(bins=100, color='green', density=True, label='gpt2') 
plt.xlabel(r"alpha $(\alpha)$ PL exponent") 
plt.legend() 

GPT的層alpha顯示紅色，GPT2的層alpha顯示綠色，直方圖差異很大。對于GPT2，峰值$alpha\sim 3.5&bg=ffffff$，更重要的是沒有異常值$latex \alpha>6&bg=ffffff$。Alpha越小越好，GPT2模型比GPT好得多，原因在于它用更多更好的數據加以訓練。

圖3

WeightWatcher 有許多功能可以幫助您評估模型。它可以做這樣的事情：

• 幫助您決定是否用足夠的數據對其進行了訓練(如圖所示)
• 檢測過度訓練的潛在層
• 用于獲取提前停止的標準(當您無法查看測試數據時)
• 針對不同的模型和超參數，預測測試精度方面的趨勢

等等

不妨試一下。如果它對您有用，請告訴我。

原文標題：How to Tell if You Have Trained Your Model with Enough Data，作者：Charles Martin

【51CTO譯稿，合作站點轉載請注明原文譯者和出處為51CTO.com】