“ 預(yù)訓(xùn)練是按部就班的學(xué)習(xí)，微調(diào)就是強(qiáng)化訓(xùn)練”

在學(xué)習(xí)大模型的過程中，預(yù)訓(xùn)練與微調(diào)是其中非常重要的兩個階段，一個模型效果好不好并不是由神經(jīng)網(wǎng)絡(luò)模型的好壞決定的，而是由預(yù)訓(xùn)練和微調(diào)來決定的。

大家都知道openAI的GPT模型采用的是Transformer技術(shù)架構(gòu)，但市面上其它采用transformer架構(gòu)的模型，卻很難達(dá)到GPT模型的效果，其中很大一部分原因就是在于預(yù)訓(xùn)練與微調(diào)。

今天就來深度了解一下預(yù)訓(xùn)練與微調(diào)。

什么是預(yù)訓(xùn)練與微調(diào)？

預(yù)訓(xùn)練

預(yù)訓(xùn)練是一種深度學(xué)習(xí)模型訓(xùn)練的策略，通常在大規(guī)模數(shù)據(jù)集上進(jìn)行。預(yù)訓(xùn)練的目標(biāo)是通過在一個相關(guān)但較大的任務(wù)上訓(xùn)練模型，使得模型學(xué)習(xí)到通用的特征表示。

這樣的預(yù)訓(xùn)練模型在其它具體任務(wù)上的表現(xiàn)通常會更好，因?yàn)樗呀?jīng)學(xué)習(xí)到了普適的特征。

在深度學(xué)習(xí)中，預(yù)訓(xùn)練可以分為兩種主要類型：無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督預(yù)訓(xùn)練。

無監(jiān)督訓(xùn)練

在無監(jiān)督訓(xùn)練中，模型在沒有標(biāo)簽的大規(guī)模數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練。常見的無監(jiān)督預(yù)訓(xùn)練方法包括自編碼器，變分自編碼器，對比預(yù)訓(xùn)練等。

預(yù)訓(xùn)練后模型的參數(shù)會被調(diào)整到一種更有用的表示形式，使得它能夠從輸入數(shù)據(jù)中提取有意義的特征。

有監(jiān)督訓(xùn)練

在有監(jiān)督預(yù)訓(xùn)練中，模型在一個與最終任務(wù)相關(guān)的較大數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練。然后可以使用這些預(yù)訓(xùn)練的權(quán)重作為最終任務(wù)的初始參數(shù)。這種方法通常能夠加速任務(wù)的訓(xùn)練過程，特別是在目標(biāo)任務(wù)數(shù)據(jù)較少時。

預(yù)訓(xùn)練的好處

預(yù)訓(xùn)練的好處在于，通過利用大規(guī)模數(shù)據(jù)進(jìn)行訓(xùn)練，模型可以學(xué)習(xí)到更泛化的特征表示，從而在具體任務(wù)上表現(xiàn)更好。

這對于數(shù)據(jù)較少的任務(wù)或計(jì)算資源有限的情況下特別有用；預(yù)訓(xùn)練的模型也經(jīng)常用于遷移學(xué)習(xí)，可以將預(yù)訓(xùn)練模型的部分或全部用于新的任務(wù)，以提高模型的性能。

微調(diào)

微調(diào)是指在預(yù)訓(xùn)練模型的基礎(chǔ)之上，利用預(yù)訓(xùn)練模型的參數(shù)，使用少量數(shù)據(jù)對模型參數(shù)進(jìn)行部分適當(dāng)調(diào)整，以此獲得在具體任務(wù)上的良好表現(xiàn)。

微調(diào)一般是采用凍結(jié)預(yù)訓(xùn)練模型的大部分參數(shù)，只對小部分參數(shù)進(jìn)行調(diào)整。

預(yù)訓(xùn)練一般是使用大規(guī)模無標(biāo)簽數(shù)據(jù)集上進(jìn)行訓(xùn)練(小部分也會采用有標(biāo)簽數(shù)據(jù)集)，也就是無監(jiān)督學(xué)習(xí)；但微調(diào)是為了解決特定任務(wù)，因此微調(diào)主要使用的是小規(guī)模有標(biāo)簽數(shù)據(jù)集。

微調(diào)分為全量微調(diào)(全參數(shù)量調(diào)整)和高效微調(diào)(部分參數(shù)調(diào)整)等多種微調(diào)方式；全量微調(diào)和預(yù)訓(xùn)練的區(qū)別就是，微調(diào)采用的是監(jiān)督學(xué)習(xí)的方式，且預(yù)訓(xùn)練之前的模型參數(shù)是隨機(jī)初始化的，而微調(diào)模型使用的是預(yù)訓(xùn)練完成的模型參數(shù)。

預(yù)訓(xùn)練的作用

預(yù)訓(xùn)練的作用主要有以下幾點(diǎn)：

加速微調(diào)的過程

通過預(yù)訓(xùn)練在大規(guī)模數(shù)據(jù)集上學(xué)習(xí)到的通用特征表示可以作為初始化參數(shù)，加速模型在特定任務(wù)上的訓(xùn)練過程；這是因?yàn)轭A(yù)訓(xùn)練的參數(shù)已經(jīng)接近最優(yōu)解，并且已經(jīng)捕捉到了輸入數(shù)據(jù)中的一些通過模型，這樣在目標(biāo)任務(wù)上的優(yōu)化過程也更容易收斂。

提高性能

預(yù)訓(xùn)練的模型通常在具體任務(wù)上表現(xiàn)更好。這是因?yàn)樵陬A(yù)訓(xùn)練階段，模型學(xué)習(xí)到了大量的數(shù)據(jù)中的通用特征，這些特征對于許多任務(wù)都是有用的，在目標(biāo)任務(wù)中，預(yù)訓(xùn)練模型能夠更好的利用這些通用特征，從而提高性能。

解決數(shù)據(jù)不足問題

在許多實(shí)際任務(wù)中，數(shù)據(jù)往往是有限的，特別是深度學(xué)習(xí)模型需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練。通過預(yù)訓(xùn)練，可以利用大規(guī)模數(shù)據(jù)集進(jìn)行通用特征的學(xué)習(xí)，然后將這些學(xué)到的特征應(yīng)用于目標(biāo)任務(wù)，從而克服數(shù)據(jù)不足的問題。

遷移學(xué)習(xí)

預(yù)訓(xùn)練的模型可以作為遷移學(xué)習(xí)的基礎(chǔ)，將預(yù)訓(xùn)練模型的參數(shù)應(yīng)用于新的相關(guān)任務(wù)，可以利用預(yù)訓(xùn)練模型在大規(guī)模數(shù)據(jù)上學(xué)習(xí)到的通用特征，從而在新任務(wù)上提高性能。

提高泛化能力

預(yù)訓(xùn)練有助于提高模型的泛化能力，即在未見過的數(shù)據(jù)上表現(xiàn)良好；通過在大規(guī)模數(shù)據(jù)上學(xué)習(xí)通用特征，模型更能夠從輸入數(shù)據(jù)中捕捉普遍的模式，而不是過度擬合訓(xùn)練集。

預(yù)訓(xùn)練與微調(diào)的區(qū)別

階段與目標(biāo)

• 預(yù)訓(xùn)練階段：在預(yù)訓(xùn)練階段，模型使用大規(guī)模的數(shù)據(jù)集（通常是無標(biāo)簽數(shù)據(jù)集）進(jìn)行訓(xùn)練，目標(biāo)是學(xué)習(xí)通用的特征表示。這些通用特征可以應(yīng)用于各種任務(wù)，因?yàn)樗鼈兎从沉藬?shù)據(jù)中的一般模式，而不是特定任務(wù)的信息。
• 訓(xùn)練階段：在訓(xùn)練階段，模型使用特定任務(wù)的有標(biāo)簽數(shù)據(jù)集進(jìn)行訓(xùn)練，目標(biāo)是根據(jù)該任務(wù)的特定目標(biāo)函數(shù)調(diào)整模型參數(shù)，使其在該任務(wù)上表現(xiàn)良好。

數(shù)據(jù)集

• 預(yù)訓(xùn)練階段：預(yù)訓(xùn)練通常使用大規(guī)模無標(biāo)簽數(shù)據(jù)集，因?yàn)槠淠繕?biāo)是學(xué)習(xí)通用特征表示，無需特定標(biāo)簽信息。
• 訓(xùn)練階段：訓(xùn)練使用特定任務(wù)的有標(biāo)簽數(shù)據(jù)集，因?yàn)樾枰鶕?jù)任務(wù)的特定標(biāo)簽進(jìn)行監(jiān)督式學(xué)習(xí)，優(yōu)化模型在該任務(wù)上的性能

特征表示

• 預(yù)訓(xùn)練階段：預(yù)訓(xùn)練的目標(biāo)是學(xué)習(xí)數(shù)據(jù)的通用特征表示，使得模型能夠捕捉數(shù)據(jù)中的一般模式和結(jié)構(gòu)。
      
• 訓(xùn)練階段：在訓(xùn)練階段，預(yù)訓(xùn)練的模型參數(shù)（通用特征表示）可以作為初始化參數(shù)，然后根據(jù)特定任務(wù)的目標(biāo)函數(shù)進(jìn)一步微調(diào)模型參數(shù)，使其更適應(yīng)該任務(wù)。

任務(wù)目標(biāo)

• 預(yù)訓(xùn)練階段：預(yù)訓(xùn)練的目標(biāo)是促使模型學(xué)習(xí)更加泛化的特征，使其能夠在各種任務(wù)上有良好的表現(xiàn)。
• 訓(xùn)練階段：訓(xùn)練的目標(biāo)是針對特定任務(wù)，最小化損失函數(shù)并優(yōu)化模型參數(shù)，使其能夠在該任務(wù)上達(dá)到最佳性能。

總結(jié)

總之，預(yù)訓(xùn)練和微調(diào)是兩個不同的階段，它們的目標(biāo)、數(shù)據(jù)集和特征表示等方面都有所區(qū)別。

預(yù)訓(xùn)練提供了一種有效的方式來初始化模型參數(shù)，并使模型受益于大規(guī)模數(shù)據(jù)的通用特征表示，而微調(diào)是讓模型在少量數(shù)據(jù)集上進(jìn)行監(jiān)督學(xué)習(xí)，從而在特定任務(wù)上表現(xiàn)更好。

本文轉(zhuǎn)載自公眾號AI探索時代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/CDdL6PtQNd-rCTVJSI8h-w??