大模型生成內容靠譜嗎？CRAAP測試告訴你
截至2025年1月，ChatGPT仍然可能會一本正經地提供不準確或虛構的信息。例如， 如果你向ChatGPT詢問“林黛玉倒拔垂楊柳”和“林黛玉三打白骨精”，他會編造看似合理但實際上并不存在的解釋，將《紅樓夢》中的林黛玉與《水滸傳》中的“倒拔垂楊柳”以及《西游記》中的“三打白骨精”錯誤地關聯在一起。這種現象被稱為“幻覺（Hallucination）”，即AI生成的內容雖然聽起來可信，但實際上并不符合事實或現實。
ChatGPT講述林黛玉倒拔垂楊柳
大模型（如ChatGPT）的推理幻覺主要源自其生成連貫且與上下文相關文本的能力。當接收到提示或問題時，LLM能夠生成看似邏輯嚴謹的響應。然而，這種能力并非基于真正的理解或推理，而是由其概率性質和對海量文本數據的訓練所驅動。本質上，LLM通過學習數據中的模式和關聯，預測給定上下文中最可能出現的下一個單詞或短語。
隨著大模型在各領域的廣泛應用，**生成內容的質量、可靠性和適用性也成為了關注的焦點。**為了有效評估大模型生成內容的質量，我們可以借鑒一些傳統的評估工具，如CRAAP測試和ASPECT評估法。這些方法有助于我們從多個維度審視大模型生成的文本，確保其內容的可信度和實際價值。
CRAAP測試：評估信息質量的重要工具
CRAAP測試（Currency, Relevance, Authority, Accuracy, Purpose）最初由加利福尼亞州奇科大學Meriam圖書館的Sarah Blakeslee提出，旨在幫助學生和學者評估信息的質量，尤其是在虛假新聞和信息泛濫的背景下。 這個評估工具適用于各種類型的信息，包括大模型生成的文本。
CRAAP測試評估表
指標 | 中文解釋 | 核心問題 |
時效性 (Currency) | 信息發布的時間 | 信息是什么時候發布或上傳的？ |
相關性 (Relevance) | 信息的相關性 | 信息是否與你的主題相關？ |
權威性 (Authority) | 信息來源的權威性 | 作者或出版者是誰？ |
準確性 (Accuracy) | 信息的準確性 | 信息來源是否可靠？ |
目的性 (Purpose) | 信息的目的 | 信息的目的是告知、教學、銷售、娛樂還是說服？ |
CRAAP測試通過對這些維度的全面評估，能夠幫助使用者判斷大模型生成內容的可靠性和質量。 具體到大模型生成的文本，時效性和準確性是兩個特別重要的因素。
CRAAP測試在大模型中的應用
對于ChatGPT講述“林黛玉倒拔垂楊柳”故事，我們可以借助CRAAP測試進行分析。
1.時效性 (Currency)在這個案例中，ChatGPT生成的內容與時效性無關，因為它編造了一個虛構的情節，而不是基于權威解讀。
2.相關性 (Relevance)用戶詢問的是與“林黛玉”相關的典故，而ChatGPT錯誤地將《水滸傳》中的“倒拔垂楊柳”和《西游記》中的“三打白骨精”關聯到林黛玉身上。雖然“林黛玉”是《紅樓夢》中的經典角色，但“倒拔垂楊柳”和“三打白骨精”分別出自《水滸傳》和《西游記》，與林黛玉毫無關系。ChatGPT生成的內容在相關性上存在誤導性，錯誤地將不同文學作品中的情節關聯到林黛玉身上。
3.權威性 (Authority)ChatGPT生成的內容缺乏權威性，因為它沒有引用具體的文學或學術來源，而是基于其訓練數據中的模式生成文本。由于ChatGPT無法區分真實與虛構的內容，其生成的信息可能缺乏可信度。對于需要權威支持的內容，用戶應參考正式的文學研究、學術論文或權威出版物，而非依賴AI生成的內容。
4.準確性 (Accuracy)ChatGPT生成的內容在準確性上存在嚴重問題。它將《紅樓夢》中的林黛玉與《水滸傳》中的“倒拔垂楊柳”以及《西游記》中的“三打白骨精”錯誤地關聯在一起。這種錯誤可能是由于訓練數據中的模式混淆或缺乏對具體文學作品的深入理解。用戶應對AI生成的內容進行事實核查，尤其是涉及經典文學作品的情節和角色時，應參考原著或權威解讀。
5.目的性 (Purpose)ChatGPT生成內容的目的是為用戶提供連貫、流暢的文本，而不是提供準確的事實或文學分析。由于AI的目標是生成看似合理的回答，它可能會為了滿足用戶的需求而編造信息，尤其是在用戶提出的問題本身存在誤導性或模糊性時。用戶應明確AI生成內容的目的，理解其局限性，并在需要準確信息時結合其他可靠來源進行驗證。
因此，在生成文本時，CRAAP測試可以幫助我們發現“幻覺”內容，并確保生成的內容符合正確的學術標準。
ASPECT評估：多維度信息質量評估方法
除了CRAAP測試，華盛頓州溫哥華的克拉克學院圖書館提出的ASPECT評估方法也是一種有效的信息質量評估工具。ASPECT評估方法在CRAAP測試的基礎上，加入了更多維度，特別是強調內容的均衡性和全面性，適用于綜合性的學術研究。
ASPECT評估表
指標 | 中文解釋 | 核心問題 |
權威性 (Authority) | 信息來源的權威性 | 內容的作者或機構是否具有權威？ |
來源 (Sources) | 信息來源的可靠性 | 信息的來源是否可靠？ |
目的性 (Purpose) | 信息的目的 | 內容是否有特定的意圖或偏見？ |
均衡性 (Evenness) | 內容的多樣性與全面性 | 內容是否均衡地呈現不同觀點？ |
覆蓋范圍 (Coverage) | 內容的全面性 | 內容是否全面？ |
時效性 (Timeliness) | 信息的時效性 | 信息是否及時？ |
ASPECT與CRAAP的比較
方法 | 指標數量 | 核心關注點 | 獨特指標 | 適用場景 |
CRAAP | 5 | 數據的時效性和準確性 | 時效性（Currency） | 多學科信息資源評估 |
ASPECT | 6 | 內容的全面性與均衡性 | 均衡性（Evenness） | 學術研究與綜合信息評估 |
CRAAP測試和ASPECT評估法分別從不同的維度出發，為我們提供了兩種有效的信息質量評估工具。CRAAP測試簡潔而直接，強調時效性、準確性和權威性，是快速評估大模型生成結果是否符合學術標準的重要方法。ASPECT評估法則提供了更多的維度，特別適用于需要評估信息多樣性和全面性的學術研究環境。 兩者可以互補使用，為我們更全面地評估大模型生成的內容質量提供有力支持。
對于大模型生成內容的使用者，掌握這兩種評估工具，不僅能幫助我們識別虛假信息，還能在實際應用中提升大模型生成結果的可信度和價值。
本文轉載自??云原生AI百寶箱??，作者： 云原生AI百寶箱 ????
