Karpathy新視頻又火了：從頭構(gòu)建GPT Tokenizer
技術(shù)大神卡帕西離職OpenAI以后，營業(yè)可謂相當(dāng)積極啊。
這不，前腳新項(xiàng)目剛上線，后腳全新的教學(xué)視頻又給大伙整出來了：
這次，是手把手教咱構(gòu)建一個GPT Tokenizer（分詞器），還是熟悉的時長（足足2小時13分鐘）。
Ps. 上次講課還是倆月前的大模型科普。
所謂“卡帕西出手，必屬精品”，大伙火速碼碼碼：
今晚的約會取消，卡帕西來了我要去上課（狗頭）
再說一遍，付費(fèi)都買不到的這樣高質(zhì)量的課程，沖。
具體都有哪些干貨？
“太長不看版”已為大家準(zhǔn)備好。
為什么要關(guān)注Tokenizer
如大神介紹：
Tokenizer即分詞器是大語言模型pipeline中一個完全獨(dú)立的階段。
它們有自己的訓(xùn)練集、算法（比如BPE，字節(jié)對編碼），并在訓(xùn)練完成后實(shí)現(xiàn)兩個功能：
從字符串編碼到token，以及從token解碼回字符串。
為什么我們需要關(guān)注它？
卡帕西指出：
因?yàn)長LM中的很多奇怪行為和問題都可以追溯到它。
比如：
- 為什么大模型不能處理簡單的字符串處理任務(wù)，例如反轉(zhuǎn)？
- 為什么大模型在非英語語言任務(wù)方面的性能更差？
- 為什么大模型不擅長簡單的算術(shù)？
- 為什么我的模型在看到字符串“”后就突然“宕機(jī)”了？
- 為什么大模型實(shí)際上并不是端到端的語言建模？
- ……
所以為了弄清這些問題，便有了今天的課程——盡管大神本人對這部分內(nèi)容其實(shí)也不太喜歡。
上這門課大家會注意到我的表情全程都很凝重。不過，其中的細(xì)節(jié)真的太重要了（大家還是忍忍吧）。
以下為視頻主要內(nèi)容文字版。
從頭構(gòu)建OpenAI大模型中使用的分詞器
視頻的最開始主要是對分詞器的一些介紹。
包括最簡單的字符級分詞操作（即每個字符是一個token)以及更為復(fù)雜和常用的chunk級操作（即多個字符也會組成一個token）。
在這之中，業(yè)內(nèi)最常用的算法是BPE，即byte pair encoding，字節(jié)對編碼，因此我們要想構(gòu)建自己的分詞器，最重要的是了解這個算法。
卡帕西介紹：
BPE可以更好地處理非英語語言、對詞匯表大小進(jìn)行調(diào)整，對于模型的性能有顯著影響。
比如GPT-4分詞器通過改進(jìn)BPE算法，最終在處理Python代碼時更加高效，因?yàn)樗軌驅(qū)⒍鄠€空格合并為單個標(biāo)記，從而減少序列長度，使得模型能夠關(guān)注更長更多的代碼。
需要注意的是，盡管BPE算法可以處理UTF-8編碼的字節(jié)序列，但直接使用這些序列會導(dǎo)致詞匯表過大、序列過長，從而影響模型的注意力機(jī)制和上下文長度，因此需要壓縮處理。
理解BPE算法后，如何構(gòu)建自己的分詞器？
簡單來說，主要包括以下幾個步驟：
1、初始化詞匯表
基于UTF-8編碼的字節(jié)。
2、合并字節(jié)對并不斷迭代，直到詞匯表大小達(dá)到預(yù)設(shè)值
在實(shí)際演示中，卡帕西通過20次合并，將文本的token數(shù)量減少了約27%。
3、處理特殊字符和不同語言的字符
4、整體優(yōu)化
詞匯表過大可能會導(dǎo)致模型訓(xùn)練困難，過小則可能無法捕捉到足夠的語言細(xì)節(jié)。
5、選擇一個包含豐富語言特征的數(shù)據(jù)集來訓(xùn)練
在此，卡帕西提到了SentencePiece庫，它支持多種分詞算法包括今天提到的BPE。
我們可以用它進(jìn)行分詞器的訓(xùn)練，包括配置選項(xiàng)和如何處理罕見字符。
訓(xùn)練好的分詞器用于編碼和解碼文本也講了。
6、最后就是評估+集成到模型中了。
當(dāng)然，后續(xù)我們還需要根據(jù)模型的表現(xiàn)進(jìn)行持續(xù)調(diào)整。
具體道每一步，大神都給咱配了詳細(xì)的Python實(shí)現(xiàn)，包括如何找到最頻繁的字節(jié)對、如何合并這些對以及如何構(gòu)建合并字典等等，具體大家就請參閱視頻吧。
在這之中，卡帕西也提醒了n個細(xì)節(jié)，比如：
在解碼過程中，如果遇到無效的UTF-8字節(jié)序列，可以使用“errors=’replace’”來替換；使用“end of text”特殊標(biāo)記來在訓(xùn)練數(shù)據(jù)中分隔文檔等等。
實(shí)際遠(yuǎn)比此復(fù)雜
毫無疑問，卡帕西帶大家實(shí)現(xiàn)的是比較基礎(chǔ)的一個分詞器版本，實(shí)際模型中遠(yuǎn)比這要復(fù)雜得多。
比如OpenAI官方提供的BPE分詞器——tiktoken。
它用了正則表達(dá)式來分割文本，以此來保證某些類型的字符也不會被合并。在GPT-2中，它就在某些方面表現(xiàn)得不錯了。
到了GPT-4，官方也對其進(jìn)行了一些調(diào)整。
主要的改變在于：
- GPT-4會將空格合并；
- 大小寫不敏感；
- GPT-4最多只合并3位數(shù)字，避免了長數(shù)字序列token。
不過由于官方并沒有公開具體訓(xùn)練細(xì)節(jié)，所以我們也無法知道其詳細(xì)的實(shí)現(xiàn)。
而除了更復(fù)雜的算法，分詞器本身在處理長字符串、非英語語言、數(shù)字和特殊字符時都可能遇到問題。
因此，講來講去，大神在視頻中還是表達(dá)了一個“樸素的愿望”：
非常希望有一天能夠不需要分詞，直接將字節(jié)流輸入到語言模型中。
不過由于這就需要我們對Transfomer架構(gòu)進(jìn)行重大修改了，所以現(xiàn)階段，構(gòu)建和優(yōu)化分詞器仍然是實(shí)現(xiàn)高效大模型的關(guān)鍵步驟。
完整視頻見：https://weibo.com/6105753431/O1BQB96Yg
