比爾蓋茨：ChatGPT是1980年以來最具革命性的科技進步。

身處這個AI變革的時代，唯有躬身入局，腳步跟上。

這是一篇我的學習筆記，希望對你了解ChatGPT有幫助。

1、ChatGPT里的GPT，分別代表什么？

GPT，Generative Pre-trained Transformer，生成式預訓練變換模型。

什么意思？

Generative，生成式，是指它能自發的生成內容。

Pre-trained，預訓練，是不需要你拿到它再訓練，它直接給你做好了一個通用的語言模型。

Transformer，變換模型，谷歌提出來的一個很厲害的模型，他可以幫助更好的去處理NLP相關的問題，是非常棒的神經網絡結構。

2、Transformer雖是由谷歌提出的。但是應用最成功的是OpenAI的ChatGPT。

因為ChatGPT是站在巨人的肩上走出來的。

ChatGPT是全人類社會的結晶，沒有前人的鋪墊，ChatGPT不會這么順利走出來。

后面也會有更多的非常厲害的應用，會基于ChatGPT走出來。

3、Transformer中有一個很重要的概念，注意力機制。

什么是注意力機制呢？

就是從你輸入的信息中，挑出重要的信息，把注意力集中在這些重要的信息上，忽略不重要的信息。這樣就能更好的理解你說的話。

注意力機制能幫助Transformer模型集中注意力在輸入信息中最重要的部分。

4、機器學習方式，分為監督學習、無監督學習、強化學習。

監督學習：有標簽數據，可以直接反饋，可以預測結果和未來

無監督學習：沒有標簽和目標，沒有反饋，而是它自己去尋找數據中的隱藏結果

強化學習：是一個決策過程，有一系列的獎勵機制和懲罰機制，讓機器學習如何做到更好

ChatGPT用到的是無監督學習和強化學習。

5、ChatGPT能進行大量的內容生成和創造，其實是靠的猜概率。

比如，天氣灰蒙蒙的，我的心情很___

經過大量數據訓練過的AI，會預測這個空格出現的最高概率的詞是「沮喪」。

那么「沮喪」就會被填到這個空格中，所以產生了答案：

天氣灰蒙蒙的，我的心情很沮喪

這感覺很不可思議，但事實就是這樣。

現階段所有的NLP(自然語言處理)任務，都不是機器真正理解人類的世界。

他只是在玩文字游戲，進行一次又一次的概率解謎。

6、在這個”猜概率“的文字游戲中，大預言模型（LLM，Large Language Model）演進出了最主流的兩個方向：BERT和GPT。

BERT是之前最流行的方向，幾乎統治了所有NLP領域。

并在自然語言理解類任務中發揮出色(例如文本分類，情感傾向判斷等）。

而GPT方向則較為薄弱，最知名的玩家就是OpenAl了。

事實上在GPT3.0發布前，GPT方向一直是弱于BERT的（GPT3.0是ChatGPT背后模型GPT3.5的前身）。

7、BERT和GPT區別是？

BERT，是雙向語言模型，聯系前后猜中間的字，所以是雙向，就像完型填空。

比如：我___20號回家

BERT猜的是「我打算20號回家」，猜的是中間的「打算」。

GPT，是單向語言模型，猜下一個字，所以是單向，像寫作文。

比如：我打算20號___

GPT猜的是「我打算20號回家」，猜的是后面「回家」兩個字。

8、怎么給GPT提問？

有兩種方式：fine-tune和prompt。

fine-tune，調參：需要對模型參數進行更新，來完成生成內容。

fine-tune 專業，門檻高，受眾小。但是多樣性、準確度高，適合復雜任務。少數玩家的游戲。

prompt，提示詞：不需要修改模型和參數，只需要給一些提示和樣例，就能完成任務。

prompt更簡單，門檻低，受眾大。適合處理簡單的任務。所有玩家都。

我們在ChatGPT輸入框中輸入的內容，就是prompt。

9、ChatGPT是生成式AI。

AI從內容產出方式上，分為兩種：分析式AI和生成式AI。

分析式AI，主要用于分析，歸類。你喂給它多少數據，它就能分析出什么樣的內容，它局限于數據本身。

生成式AI， 在學習歸納數據分布的基礎上，創造數據中不存在的新內容?？梢陨晌谋?、圖片、代碼、語音合成、視頻和3D模型。

ChatGPT是生成式AI，最擅長文本和寫代碼。

10、最后，從知識獲取的角度說，ChatGPT是全新一代的 “知識表示和調用方式”。

早期，知識以結構化的方式存儲在數據庫中。我們通過 SQL獲取。

后來，隨著互聯網的誕生，更多文本、圖片、視頻等非結構化知識存儲在互聯網中。我們通過搜索引擎獲取。

現在，知識以參數的形式存儲在大模型中。我們用自然語言直接調用這些知識。