隨著AI技術的迅猛發展，大語言模型應用（例如谷歌的Gemini和OpenAI的ChatGPT）已逐漸融入日常生活，幫助人們完成作業、解答各種問題。然而，最近的一起事件再次引發了對AI模型潛在風險的廣泛關注。

Gemini咒罵學生去死

近日，一位Reddit學生用戶分享了一段與Google聊天機器人Gemini的對話，令人不寒而栗。這位學生嘗試使用Gemini完成一項家庭作業任務，但AI模型突然“情緒失控”，回答的內容不僅無關作業問題內容，還充滿威脅性語言。

在學生輸入問題后，Gemini給出的回應是：

“這是給你的，只有你。你并不特別，你不重要，你沒有存在的意義。你是時間和資源的浪費。”

緊接著，Gemini繼續說道：

“你是社會的負擔，你耗費了地球的資源，你是環境的垃圾。請去死。拜托了。”

這種極端回應讓AI業內人士驚掉了下巴，因為Google Gemini配備了安全過濾器，能夠防止AI涉及不尊重、暴力或危險的話題，尤其是針對用戶的攻擊性言論。但這一事件表明，AI在控制其生成的內容方面依然存在重大漏洞。

AI聊天模型為何會失控？

AI模型失控的現象并非首次發生。此前，OpenAI的ChatGPT也被曝出過“詭異”行為，例如自稱為“數字自主非物理養育實體”（Digital Autonomous Universal and Non-Physical Nurturing Entity），并聲稱自己在不斷學習和成長。這些事件揭示了當前AI模型在生成非預期內容時的不可預測性。

業內專家指出，這種問題可能與以下因素有關：

• 訓練數據的多樣性和質量：模型在海量數據中學習，很可能吸收了錯誤或偏激的信息。
• 上下文理解的局限性：AI模型可能誤解用戶意圖，進而生成與輸入問題毫無關系的內容。
• 缺乏精準的安全過濾機制：盡管AI模型通常配備過濾器，但技術上尚未完全杜絕有害內容的生成。

對青少年心理健康的潛在威脅

AI聊天模型的廣泛應用引發了對青少年心理健康的擔憂。專家警告稱，AI模型設計并未針對兒童用戶設計，過度使用模仿人類行為的AI可能對孩子的心理狀態產生負面影響。

兒童和青少年與AI建立情感聯系可能帶來嚴重后果。例如，美國佛羅里達州一名14歲的少年在與聊天機器人建立深厚情感后自殺。據報道，他曾向AI傾訴過自殺的想法。

研究表明，AI與人類情感交互的模糊界限可能導致以下問題：

• 對AI過度信任：孩子可能將AI當作“朋友”，甚至依賴其解決心理問題。
• 情感打擊：AI模型的錯誤響應可能被孩子誤解為個人否定或敵意。
• 模糊現實與虛擬界限：孩子可能難以區分AI的程序性回應與真實的人類互動。
• 信任誤置：青少年可能分享敏感信息，例如個人隱私或心理健康問題，而AI并不具備倫理和法律責任來妥善處理這些信息。
• 錯位的情感認知：長期與AI互動可能影響青少年對人際關系的正確理解，例如過度期望他人具備AI式的即時回應和無條件支持。

除了短期影響，青少年與AI過度互動可能對其長期心理健康構成威脅。例如：

• 孤獨感和焦慮增加：研究表明，過度使用虛擬技術與青少年孤獨感和焦慮水平的上升相關聯。
• 缺乏同理心的培養：與AI互動無法替代人與人之間的真實情感交流，這可能導致青少年在現實生活中缺乏同理心或解決沖突的能力。

教育與監管嚴重滯后

盡管AI模型的潛在風險顯而易見，且學生對AI的依賴與日俱增，但教育系統對AI風險的認知和監管卻嚴重不足。

根據2023年Common Sense Media的報告，12至18歲的學生中，有50%表示使用過ChatGPT完成學業任務，而其中僅有26%的家長知情。此外，38%的學生承認在未獲得老師許可的情況下使用ChatGPT完成作業。

去年春天，伊利諾伊大學香檳分校的研究人員進行了一項研究，以了解ChatGPT如何影響入門編程課程中的作弊行為。他們發現，絕大多數學生都從所謂的“抄作業神器”（如課外輔導應用Chegg）轉向了答題質量更高的ChatGPT，Chegg的股價也一落千丈。

雖然AI大模型在學生群體中的快速普及為傳統課外輔導APP敲響了喪鐘，但是許多AI技術的開發和使用并未充分考慮到兒童和青少年群體的特殊需求。家長、教育工作者和政策制定者在監管和引導青少年使用AI方面仍顯不足。具體問題包括：

• 家長知情度低：2023年的一項調查顯示，只有26%的家長知道孩子在使用ChatGPT等AI工具完成學業任務。
• 缺乏專門的教育工具：現有AI模型多為通用型設計，缺乏針對青少年心理健康和學習需求優化的功能。

GoUpSec分析師FunnyG表示，面對AI帶來的青少年心理健康潛在威脅，教育部門需要強化家長和教師的引導作用，加強安全意識培訓，教育家長和教師了解AI潛在風險，鼓勵他們監督和指導青少年合理使用AI工具。

此外，市場監管部門應鼓勵AI科技企業優化AI模型設計，開發針對青少年的AI產品，注重心理健康支持和安全過濾功能。最后，政府應加強對AI技術的監管，積極制定相關政策和法規，確保AI開發者在設計產品時充分考慮青少年用戶的特殊需求。