吳世忠院士:大模型安全治理的現狀與展望
尊敬的各位領導、專家、同志們、朋友們,大家下午好!
非常高興參加“2025世界人工智能大會智能社會論壇”。當前,人工智能治理已成為全球高度關注的熱門話題。一年多來,我們跟蹤、研究人工智能發展和治理動態,今天借此機會將部分觀察和體會與大家分享,涉及三方面內容:一是技術發展與安全態勢;二是全球政策和監管動向,三是未來挑戰和發展建議。
圖片
一、技術發展和安全態勢
生成式人工智能技術憑借強大的多語言理解和生成能力,已廣泛應用于科學、教育、醫療、金融等行業,并向多模態、具身方向快速演進。可謂技術創新日新月異,應用推廣勢不可擋。尤其是近一年內,人工智能技術迭代更加迅速,大模型發展應用走深走實。有四點觀察與大家分享。
一是模型思考,由快到慢。ChatGPT剛普及時,反應快但容易出錯。隨著思維鏈以及長上下文技術的發展,模型開始從勤學好答轉變為深思熟慮,快回答正在轉向慢推理。
二是技術應用,由點到面。大模型從能說會道,發展到能說會動,再到能跑會跳。多語言、多模態帶來多場景的廣闊應用,并更加深入、徹底、全面的滲透改造經濟、文化等人類社會的方方面面。
三是中美差距,由大到小。一年來,DeepSeek、通義千問等國內系列模型,在算法上積極創新,已成為全球開源社區頂流,越來越多的國產模型正在向世界展示中國技術與中國方案。
四是科學影響,由廣到深。人工智能已經成為一門重要的基礎學科,開啟了科學研究的新范式。去年,諾貝爾物理學獎和化學獎都授予了人工智能領域的學者,這在科技發展史上都是空前的。
從應用推廣上看,人工智能技術和社會的互動也表現出顯著的特點。不斷發展的技術創新激發了更多應用場景,而應用反饋也在不斷驅動算法優化創新。治理約束則貫穿其中,保障技術創新與應用推廣的健康可持續發展。
講到大模型的發展,必然要提到安全。安全問題在這十年來不斷深入、聚焦,目前看主要涉及四個方面。
一是內在的模型安全風險。這主要是模型不可解釋性、魯棒性、幻覺干擾和不可控的風險。這是技術與生俱來的。
二是新型的倫理挑戰風險。尤其是對價值觀、意識形態、個人隱私的保護、歧視偏見以及就業帶來的影響。這是過去信息技術時代較少涉及的。
三是衍生的應用安全風險。深度偽造、淺度偽造、欺詐等給社會治理、數據安全、文化安全帶來嚴峻挑戰。
四是潛在的國家安全風險。主要是信息干擾、操縱以及智能武器、軍事化方面的風險。
二、全球政策和監管動向
在上述背景下,世界各國都高度關注人工智能的風險隱患,推動監管需求不斷走高。盡管目前美國等西方國家的主論調是放松監管,但從長遠趨勢來講,監管呼聲和需求將會越來越高。特別是近一年多來,國際AI企業、大咖紛紛表示,通用AI奇點將至。時間從幾十年到十幾年,眾說紛紜,甚至有學者認為幾年內就將實現通用智能。在這種快速發展情況下,安全問題引發更多人的擔憂。主要動向有:
一是AI領軍人物紛紛呼吁重視安全風險。此次大會嘉賓諾獎得主杰弗里·辛頓教授,幾年來持續呼吁高度關注安全問題。圖靈獎得主本吉奧一直致力于推進人工智能安全方面的研究和治理。楊立昆盡管相對樂觀,但依然提出要在設計中間就把安全考慮好。前谷歌CEO施密特在最近的訪談中也多次強調,人工智能的發展潛能被嚴重低估,必須高度關注安全風險。
二是全球主要國家和組織積極應對安全挑戰。非常典型就是歐盟,歐盟主要把自己定位為人工智能的應用方,制定《人工智能法案》,采取強監管的策略,針對10的25次方flops運算大模型設定嚴格監管要求。美國特朗普政府持續放松監管,主要是為了保持技術領先地位。另外,國際組織,無論是聯合國還是G7等,都在廣泛推進治理策略的制定。還有學術團體,包括產業界,也紛紛提出政策建議,希望能夠把發展和安全統籌好。
三是先發國家紛紛成立專門機構研究安全對策,搶占治理話語權和領導權。在美、英牽頭下,全球近十個國家成立了AI安全研究機構,開展安全風險、安全測評和安全治理的技術和對策研究。特別值得關注的是,西方多國發起了全球AI安全峰會,組建了安全研究機構網絡,開展了大模型跨國間安全測評,著手國際治理的謀劃和實踐。從前年的倫敦峰會,到去年的首爾峰會,再到今年初的巴黎峰會,治理方向和主題也出現一些新的變化。前兩次是安全優先,巴黎峰會主題則更加寬泛,強調開放、包容,促進發展。多方和區域的作用得到不斷強化,科技界、產業界等多方機構從技術、應用、標準等方面積極發聲,推動更加靈活的治理。再者,就是地緣政治更加極化。過去,歐洲、中國、美國治理方面各成體系。到今年,全球治理基本聚焦美國和中國。幾天前,美國發布了“人工智能行動計劃”,明確提出通過“加速AI創新,建設AI基礎設施,引領國際AI外交和安全”這三大核心支柱,贏得全球AI競賽。昨天,我國也公布了人工智能全球治理行動計劃。針對人工智能治理的競爭,日益激烈。此外,國外人工智能安全研究所的最新變化也值得關注:美國將安全研究所改名為標準和創新研究中心;英國把研究所名稱中的安全由safety改成security。一個名稱改變、一個名詞之差,表明了人工智能安全關切的內在變化,即更加關注安全隱患與社會發展的深度關聯。
四是我國在AI治理方面系統布局、穩步推進。我們堅持統籌發展與安全,發布了推進人工智能技術發展,安全監管和倫理規范的系列文件;秉承“以人為本,智能向善”,公布了人工智能治理全球倡議。我們堅持邊發展邊治理的基本原則,希望探索出一條具有中國特色和中國智慧的治理路徑。我們有戰略規劃和政策方面的引導,牽頭組織相應技術攻堅和產業布局,在社會治理方面,網信辦在加強大模型倫理對齊和合規備案的同時,與多部委齊心協力,在全國推進人工智能社會應用和治理實踐。上海楊浦區就是其中一個典型實踐。
在探索安全治理過程中,測評技術成為衡量大模型智能水平、安全性能等指標的重要手段。近年來,國內人工智能測評大致分為四個方面,第一類是合規性測評,支撐模型備案,這方面工作越做越細,效果越來越好;第二類是商業發展的評比,在促進技術迭代,激發應用創新等方面積極作為;第三類是基準測試,主要是學術領域對模型算法、數據集、軟件棧等各種功能組件的性能評判,有效促進技術發展和安全提升;第四類是系統評估,維護國家安全,主要是對大模型應用從硬件、軟件、模型、數據、應用等多個層面、多個維度的測試評估,促進技術自主可控、科技自立自強,也取得了顯著成效。
三、未來挑戰和發展建議
展望未來,大模型的推廣應用是大勢所趨、人心所向。大模型治理依然挑戰嚴峻、任重道遠。從宏觀上講,治理面臨的困難主要是以下四大方面。
一是技術本身的復雜性。模型不透明導致權責劃分、倫理規范的制定十分困難。
二是技術創新與監管面臨兩難。簡單而言,就是“一管就死,一放就亂”。如何求得創新發展和安全監管的平衡是全球性的治理難題。
三是商業利益和社會責任的平衡。在人工智能發展過程中,產業界特別是科技界發揮著原創、基礎和關鍵性作用。OpenAI的管理層“宮斗”就是例證。商業利益和社會責任難以平衡是AI產業發展的難題。
四是大國之間的信任缺失。因為文化傳統、政治體制、價值觀、道德觀以及發展階段的不同,大國之間在AI發展治理方面很難達成一致,給全球治理又新增了一個難題。
在這種情況下,全球將希望的目光投向走進世界舞臺中心的中國,時代也給我們提供一個主動作為,體現擔當的機會。我國經過十年謀劃和布局,已經探索出一套體現中國智慧的治理路徑,包括技術自立、應用引領、安全為本、國際合作和倫理規范。只要我們保持戰略定力,堅持久久為功,繼續突破核心技術的瓶頸、提升安全測評的能力、完善法治倫理的規范以及增強全球治理的主動,我們就一定能為世界奉獻具有中國特色的AI治理方案。為此,我提出四點發展建議。
一是要加強創新驅動,以新型舉國體制推動技術發展和應用賦能,重點在于突破關鍵技術點,打造核心產業鏈,形成垂域應用面。這需要我們充分發揮體制優勢、組織優勢和政策的優勢,始終把發展作為第一要務。
二是要加強安全研究,推進安全測評。確保大模型在關鍵行業、重要部門、重點單位和敏感部位的應用做到安全穩妥,有效防控安全風險。
三是要加強倫理規范,以中華傳統文化為根基,賡續大模型文明血脈。未來,全球模型掌握的知識將會趨同,唯一不同的就是文化底色。這是區分各國模型間根本的區別。將中國的倫理道德和傳統文化融進大模型,不僅需要細化倫理準則,構建法規體系,還要強化技術保障,使倫理和法規能夠落實落地。
四是要落實全球倡議,加強國際合作。主要是細化實化人類命運共同體理念,推進國際治理框架的互認互信,包括推動線上線下國際合作與交流。世界人工智能大會就是很好的平臺。昨天,我們正式公布將成立世界人工智能合作組織。這更是體現我國大國擔當的務實舉措,必將為人工智能的全球治理注入新的活力和智慧。
各位嘉賓、同志們、朋友們,最后我想基于我們的觀察,給學術研究界的同行們提三點倡議。
一是總結近15年人工智能方面的科學研究發現,安全研究相對技術發展已經嚴重滯后,需要安全兜底、及時跟上。
二是十年樹木百年樹人。模型學習人類的知識已經快到只需幾個月,但要學會人類的倫理道德,不是一年半載就能成的事情,需要技術賦能、及時跟進。
三是科學和工程領域人工智能研究突飛猛進,但人文社會科學方面的研究略微顯得不足,社會發展需要技術創新的銳度,技術創新更需要社會人文的溫度。大模型乃至人工智能的發展、安全與治理,迫切需要人文滋養、及時跟隨。這樣,才能更好推動智能向善,才能最終實現同球共濟。
謝謝大家!






























