基礎(chǔ)模型透明度指數(shù)揭示了大型語言模型訓(xùn)練所依賴的數(shù)據(jù)黑盒。

譯自Transparency From Behind the Generative AI Curtain，作者 Michelle Gienow。

AI 基礎(chǔ)模型已經(jīng)成為超級模型：在這個 ChatGPT 后的世界，像LLaMA,Gemini和Claude這樣的名字，現(xiàn)在對科技評論家來說，擁有與人類名人一樣的轟動效應(yīng)和即時認(rèn)可度。

然而，隨著 AI 在全球重要性日益提升，我們也越來越需要了解產(chǎn)生我們從那些提示框中輸入的結(jié)果的技術(shù)。斯坦福大學(xué)、麻省理工學(xué)院和普林斯頓大學(xué)的研究人員最近的兩項研究深入研究了支撐世界上一些最先進(jìn)且廣受歡迎的生成式 AI 工具的 AI 基礎(chǔ)模型，這些工具每天被數(shù)百萬（甚至數(shù)十億）人使用。透明度的需求至關(guān)重要。

然而，2024 年基礎(chǔ)模型透明度指數(shù)的結(jié)果表明，隨著時間的推移，隨著公司在開發(fā)其旗艦基礎(chǔ)模型上投入越來越多的資金，他們對用于訓(xùn)練這些模型的大量數(shù)據(jù)以及這些數(shù)據(jù)的來源變得越來越不透明。

什么是基礎(chǔ)模型？

“基礎(chǔ)模型”一詞是用來描述支撐生成式 AI 的大型深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的統(tǒng)稱。基礎(chǔ)模型在大量數(shù)據(jù)上進(jìn)行訓(xùn)練，以執(zhí)行各種各樣的任務(wù)，從生成文本、圖像和編程代碼到流暢地用自然語言響應(yīng)書面提示和問題。不過，可以說，它們最大的力量在于支撐新的 AI 應(yīng)用：與從頭開始構(gòu)建自己的模型相比，基礎(chǔ)模型允許工程團(tuán)隊更快、更經(jīng)濟(jì)地開發(fā)新的生成式 AI 應(yīng)用。

由于相對較少的幾個基礎(chǔ)模型支撐著如此多的面向人類的生成式 AI 工具，因此透明度的需求至關(guān)重要。例如，當(dāng)我們使用ChatGPT生成文本，使用Stable Diffusion創(chuàng)建圖像，以及使用Tabnine生成代碼時，我們需要了解它們的基礎(chǔ) ML 模型是如何開發(fā)和部署的。用戶希望知道，我們可以信任我們已經(jīng)快速熟悉并喜愛，甚至嚴(yán)重依賴的 AI 工具。我們需要知道它們是公平、可解釋和安全的。

這種在 AI 的狂野西部時期建立信任和透明度的緊迫感，源于我們在社交媒體早期不受監(jiān)管的日子里吸取的教訓(xùn)。現(xiàn)在我們已經(jīng)了解得更多，我們可以防止類似的危機(jī)，因為我們開始采用 AI。但是，我們?nèi)绾魏饬咳栽诎l(fā)展中的技術(shù)中的實際功能透明度？

衡量 AI 透明度

2023 年 10 月，來自斯坦福大學(xué)、麻省理工學(xué)院和普林斯頓大學(xué)的研究人員合作，通過評估當(dāng)時排名前 10 的基礎(chǔ)模型的旗艦?zāi)Ｐ停瑯淞⒘艘幻嬷匾?AI 透明度旗幟。由此產(chǎn)生的白皮書，名為“基礎(chǔ)模型透明度指數(shù)”（FMTI），展示了當(dāng)時排名前 10 的主要基礎(chǔ)模型的透明度指數(shù)。Meta 的模型得分最高，滿足了 100 個透明度協(xié)議因素中的 54 個，而亞馬遜得分最低（100 個中的 12 個）。所有模型提供商的平均得分 37 分——并非及格分?jǐn)?shù)——揭示了一個行業(yè)正在努力向公眾開放。

同一批研究人員在 2024 年 5 月發(fā)布了一份后續(xù)報告，其中有一些變化。最初的報告依賴于公開數(shù)據(jù)；對于為期六個月的后續(xù)研究，模型開發(fā)人員自己提交了透明度報告，披露了他們針對 FMTI 的 100 個指標(biāo)中的每一個指標(biāo)的實踐。這次，有 14 個組織提交了透明度報告。參與的開發(fā)人員還超出了研究人員定義的最初 100 個透明度協(xié)議因素；總體而言，組織在各自的報告中平均提供了 17 個新的透明度信息指標(biāo)。

透明度得分上升

FMTI 2024 在 2023 年的變化方面揭示了什么，這告訴我們關(guān)于透明度新現(xiàn)狀的什么？

這次，來自 BigCode/Hugging Face/ServiceNow 的 StarCoder 基礎(chǔ)模型的透明度得分達(dá)到 100 分中的 85 分，創(chuàng)歷史新高。所有 14 個模型開發(fā)者的平均得分攀升至 100 分中的 58 分，比 2023 年 10 月的 FMTI 平均得分提高了 21 分。

圖片

總體而言，2024 年的 FMTI 文件顯示出明顯的改進(jìn)：最高透明度得分提高了 31 分，最低得分提高了 21 分。在第一份報告和后續(xù)報告中都出現(xiàn)的八位開發(fā)者都提高了他們的得分；亞馬遜的整體漲幅最大，從 2023 年的 12 分躍升至 2024 年的 41 分。更令人欣慰的是，一位開發(fā)者滿足了研究人員制定的 100 個透明度指標(biāo)中的 96 個，多位開發(fā)者成功滿足了 89 個指標(biāo)。

圖片

這些趨勢總體上相當(dāng)積極，但數(shù)據(jù)也揭示了一些不那么樂觀的成果。雖然透明度的整體現(xiàn)狀有了顯著改善，但一些領(lǐng)域仍然頑固地難以觸及。根據(jù)報告，“有關(guān)數(shù)據(jù)（版權(quán)、許可和 PII）、公司護(hù)欄的有效性（緩解評估）以及基礎(chǔ)模型的下游影響（人們?nèi)绾问褂媚Ｐ鸵约坝卸嗌偃嗽谔囟ǖ貐^(qū)使用模型）的信息仍然非常不透明。”

換句話說，在一些關(guān)鍵領(lǐng)域，模型開發(fā)者仍在掩蓋他們的做法，尤其是在數(shù)據(jù)來源、隱私和緩解方面。

我們作為社區(qū)下一步該怎么做？

可能最重要的收獲是：圍繞數(shù)據(jù)訪問的透明度從 2023 年 10 月的 20% 下降到 2024 年 5 月的 7%。在新報告中，研究人員將其歸因于“公司在披露用于構(gòu)建基礎(chǔ)模型的數(shù)據(jù)方面面臨的重大法律風(fēng)險”。特別是，“如果數(shù)據(jù)包含受版權(quán)保護(hù)的、私人的或非法的內(nèi)容，這些公司可能會面臨責(zé)任。”不幸的是，2024 年參與的模型開發(fā)者在“模型緩解”方面的得分也很低，這意味著他們沒有充分披露其解決版權(quán)侵犯或隱私侵犯問題的策略。

科技公司必須優(yōu)先考慮人工智能的透明度，因為在該行業(yè)之外，大多數(shù)人根本不了解人工智能是什么或它是如何運(yùn)作的。公平地說，就像這些技術(shù)是新的，圍繞透明度的標(biāo)準(zhǔn)和期望也是新的。

對于技術(shù)來說，這些都是未知領(lǐng)域，在某種程度上，我們是在行走中開辟道路。這些 FMTI 報告和協(xié)議的最大價值在于為模型開發(fā)者提供明確且可操作的步驟，以提高模型透明度。

2023 年和 2024 年 FMTI 報告之間的信息差異揭示了基礎(chǔ)模型提供商內(nèi)部持續(xù)存在的——也是系統(tǒng)性的——不透明領(lǐng)域。在人工智能方面，基礎(chǔ)模型開發(fā)者的組織本身需要贏得最終用戶、政府實體以及——不夸張地說——全人類的信任和信心。

作為社區(qū)，我們的工作是推動可訪問性。無論我們這些軟件開發(fā)人員如何——甚至是否——使用人工智能和機(jī)器學(xué)習(xí)技術(shù)，我們都有責(zé)任確保這些新興技術(shù)基于道德標(biāo)準(zhǔn)運(yùn)作，并共同努力減少任何潛在的危害。

作為人工智能的消費(fèi)者，企業(yè)可以通過在采用特定人工智能工具之前提出明智的問題來推動這種可訪問性。這份報告揭示了為什么必須審查實際的許可協(xié)議和服務(wù)條款，不僅是提供人工智能代碼助手工具的供應(yīng)商，還有工具背后使用的模型的許可協(xié)議和服務(wù)條款。

我們的結(jié)論是：在透明度成為基礎(chǔ)模型開發(fā)者運(yùn)營的默認(rèn)方式之前，保證與任何人工智能平臺交互所用數(shù)據(jù)的絕對隱私的唯一方法是，這些數(shù)據(jù)無法離開您的邊界。