窮盡「全網」，生成式AI很快無數據可用。

近日，著名UC伯克利計算機科學家Stuart Russell稱，ChatGPT和其他AI工具的訓練可能很快耗盡「全宇宙的文本」。

換句話說，訓練像ChatGPT這樣的AI，將因數據量不夠而受阻。

圖片

這可能會影響生成式AI開發人員，在未來幾年收集數據，以及訓練人工智能的方式。

同時，Russell認為人工智能將在「語言輸入，語言輸出」的工作中取代人類。

數據不夠，拿什么湊？

Russell近來的預測引起了大家重點關注。

OpenAI和其他生成式AI開發人員，為訓練大型語言模型，開始進行數據收集。

然而，ChatGPT和其他聊天機器人不可或缺的數據收集實踐，正面臨著越來越多的審查。

圖片

其中就包括，未經個人同意情況下創意被使用，以及平臺數據被自由使用感到不滿的一些高管。

但Russell的洞察力指向了另一個潛在的弱點：訓練這些數據集的文本短缺。

去年11月，MIT等研究人員進行的一項研究估計，機器學習數據集可能會在2026年之前耗盡所有「高質量語言數據」。

圖片

論文地址：https://arxiv.org/pdf/2211.04325.pdf

根據這項研究，「高質量」集中的語言數據來自：書籍、新聞文章、科學論文、維基百科和過濾后的網絡內容等。

而加持當紅炸子雞ChatGPT背后的模型GPT-4同樣接受了大量優質文本的訓練。

這些數據來自公共在線的資源（包括數字新聞來源和社交媒體網站）

從社交媒體網站「數據抓取」，才導致馬斯克出手限制用戶每天可以查看的推文數量。

圖片

Russell表示，盡管許多報道未經證實，但都詳細說明了OpenAI從私人來源購買了文本數據集。雖然這種購買行為可能存在解釋，但自然而然的推斷是，沒有足夠的高質量公共數據了。

一直以來，OpenAI尚未公開GPT-4背后訓練的數據。

而現在，OpenAI需要用「私人數據」來補充其公共語言數據，以創建該公司迄今最強大、最先進的人工智能模型 GPT-4。

足見，高質量數據確實不夠用。

OpenAI在發布前沒有立即回復置評請求。

OpenAI深陷數據風波

近來，OpenAI遇上了大麻煩，原因都和數據有關。

先是16人匿名起訴OpenAI及微軟，并提交了長達157頁的訴訟，聲稱他們使用了私人談話和醫療記錄等敏感數據。

圖片

他們的索賠金額高達30億美元，訴訟中指出，

盡管制定了購買和使用個人信息的協議，但是OpenAI和微軟系統性地從互聯網中竊取了3000億個單詞，包括數百萬未經同意獲取的個人信息。

這其中包含賬戶信息、姓名、聯系方式、電子郵件、支付信息、交易記錄、瀏覽器數據、社交媒體、聊天數據、cookie等等。

這些信息被嵌入到ChatGPT中，但這些恰恰反映出個人愛好、觀點、工作履歷甚至家庭照片等。

而負責這次起訴的律師事務所Clarkson，此前曾負責過數據泄露和虛假廣告等問題的大規模集體訴訟。

圖片

緊接著，這周又有幾位全職作者提出，OpenAI未經允許使用了自己的小說訓練ChatGPT，構成侵權。

那么是如何確定使用自己小說訓練的呢？

證據就是，ChatGPT能夠針對他們的書生成準確的摘要，這就足以說明這些書被當作數據來訓練ChatGPT。

作者Paul Tremblay和Mona Awad表示，「ChatGPT未經許可就從數千本書中拷貝數據，這侵犯了作者們的版權」。

圖片

起訴書中預估，OpenAI的訓練數據中至少包含30萬本書，其中很多來自侵權網站。

比如，GPT-3訓練數據情況披露時，其中就包含2個互聯網圖書語料庫，大概占比為15%。

2位起訴的作者認為，這些數據就是來自一些免費的網址，比如Z-Library、Sci-Hub等。

另外2018年，OpenAI曾透露訓練GPT-1中的數據就包括了7000+本小說。起訴的人認為這些書沒有獲得作者認可就直接使用。

另謀他法？

不得不說，OpenAI使用數據來源一事確實存在諸多爭議。

今年2月，《華爾街日報》記者Francesco Marconi曾表示，新聞媒體的數據也被用來訓練ChatGPT。

Marconi讓ChatGPT列了一個清單，竟有20家媒體。

圖片

早在今年5月，Altman在接受采訪時曾表示，OpenAI已經有一段時間沒有使用付費客戶數據來訓練大語言模型了。

客戶顯然不希望我們訓練他們的數據，所以我們改變了計劃，不再這么做。

圖片

其實，OpenAI在3月初，曾悄然更新了服務條款。

Altman提到，現在公司正在開發的新技術，可以使用更少的數據來訓練模型。

或許從OpenAI身上受到了啟發，谷歌選擇先行堵上這一漏洞。

7月1日，谷歌更新了其隱私政策，現在的政策中明確谷歌有權收集任何公開可用的數據，并將其用于其人工智能模型的訓練。

圖片

谷歌向所有用戶表明，只要是自己能夠行公開渠道獲得的內容，都可以拿來訓練Bard以及未來的AI。

參考資料：

https://www.businessinsider.com/ai-could-run-out-text-train-chatbots-chatgpt-llm-2023-7