中國電信開源星辰AI大模型：央企中首個完成LLM研發和開源的選手誕生
沒想到啊，開源大模型家族里，居然擠進來一位特別的選手：
來自央企，身份為運營商。
具體是誰？
中國電信。
所謂“不鳴則已，一鳴驚人”：
中國電信集團成立的中電信人工智能科技有限公司憑借全自研算法、精心打造的高質量數據集，發布星辰AI大模型。
其目前開源的版本在大模型知名榜單CSL上排名第五、GAOKAO排名第七、AGIEval排名第八。
什么概念？和科技公司出品的專業選手們站在了同一陣營。
現在，隨著其代碼和模型在Github、Gitee、HuggingFace三個平臺一并可獲取使用，中國電信也順勢成為央企中率先完成大模型研發和開源的選手。
加上不久之前，AI領域Fellow大滿貫科學家李學龍加盟，出任電信CTO——
所以作為率先交卷大模型的央企和運營商，在大模型研發這件事上，它究竟有哪些驚艷之處？
電信大模型長什么樣？
早在去年五月中旬，經過數十版模型訓練與優化，中國電信就完成了百億參數星辰AI大模型穩定版本的訓練。
正式發布則是在去年7月的人工智能科技大會上，為運營商中首個。
很快，歷經又一輪迭代，星辰AI大模型的千億參數版本于11月發布。
它最大可支持96k的上下文推理，相比第一代，長文生成和理解能力提升30%。
此外，模型幻覺問題也降低了40%，并在模型量化方面取得突破——訓練顯存降低50%的同時，推理速度提升4.5倍。
具體來看，星辰AI大模型具備以下諸多通用能力，包括：
常識問答、寫作、文本翻譯潤色/結構化任務、邏輯推理、數學、輔助代碼生成……
模型本身則提供了近100個prompt模版任務，包括營銷宣傳、PPT制作、評價分析、行業分析等，方便大伙拿來就用：
在這之中，星辰AI大模型最大的亮點或者最擅長的地方就是長文寫作。
根據用戶提示詞，它可以準確地生成結構完整、邏輯清晰的文章，平均字數超過1500字。
據統計，在電信內部，星辰AI大模型在此任務上的有效采納率可達85.7%，和國內其他眾多大模型相比，表現相當出色。
而除了長文寫作這一大亮點，星辰AI大模型還具備強大的插件功能，可以解決更為復雜、多場景的任務。
例如搜索插件，用于支持各種常識問答，標注來源，使結果更為準確。
在插件的具體調用上，電信設計了非常細致的數據格式，可以使得模型深刻理解用戶任務，并依照嚴格的流程執行推理，最終得出答案。
如果再配合上思維鏈技術，星辰AI大模型的能力還能更進一步。
據介紹，在中國電信企業內部以及對外企事業單位客戶的業務中，星辰AI大模型已實現初步落地，在網絡故障分析和客戶服務業務中展現出巨大價值。
對于前者，星辰AI大模型通過對大量故障數據的學習和分析，能夠迅速識別潛在問題并提供有效的解決方案，從而提高網絡運維的效率和質量。
對于后者，新一代智能客服系統在接入星辰AI大模型之后，應答能力大幅提升，問題覆蓋率超過95%，加上還能自動對客戶服務進行準確總結，因此還能進一步優化服務流程，提高用戶滿意度。
對于此次開源，中國電信率先釋出的則是其百億參數版本，外推長度32k，底層代碼、算法邏輯等全部公開。
大伙既可以直接調用大模型，也可以根據自身業務需求對大模型進行微調或個性化設置——支持deepspeed微調框架、int8&&int4模型量化、升騰卡訓推。
或者還可以用它加載自己的知識庫或數據，從而調整出更符合自身業務需求、更加個性化的理想結果。
具體來看，和前面介紹的還不同，電信將星辰AI大模型能力分門別類，此次一共開源的是5個細分大模型。
除了最基礎的星辰語義大模型，還包括：
- 星辰語音大模型 ，它具備關鍵詞檢測、超自然語音合成、語音識別、語音翻譯、聲音匿名、AI 作曲和語音生成七大類算法能力，可用于音頻會議紀要整理、智能語音機器人等場景；
- 星辰多模態大模型，支持文生圖、圖生圖，可用于內容創作、廣告營銷等；
- 啟明網絡大模型，專攻網絡運營，側重云網運營領域專業知識查詢；
- 星辰經分大模型，主攻數據分析和報告生成。
可以說相當全面了。
算法純自研，核心優勢在數據
有點驚喜有點意外，作為一家運營商，電信在大模型研發這件技術活上拿出態度，走了純自研方式：
背后搭建了一支800人的研發團隊，碩博占比超54.9%的那種。
他們在模型結構、數據預處理、模型預訓練以及人類偏好對齊、降低幻覺等方面都進行了優化，注入了電信自己的“靈魂”。
具體來看，在模型結構設計上，團隊采用解碼器架構（decoder-only）并改進旋轉位置編碼（RoPE），再結合自適應插值的NTK-aware + LogN算法，大幅提高了模型的外推能力，使其支持超長上下文（96k）理解。
在模型訓練上，為了保證穩定性，團隊又使用了Embedding LayerNorm算法，在嵌入層添加額外的RMSNorm層，并在每個Transformer子層前加入RMSNorm層。
為了提升訓練和推理速度，他們又采用了SwiGLU激活函數替代傳統GELU激活函數的方式，將隱藏層大小設計為8/3d而非4d。
再通過將RoPE與FlashAttention-V2相結合，模型的訓練速度進一步提高了20%以上。
在微調階段，團隊的做法則是在embedding層加入噪聲擾動來緩解過擬合，進一步提升模型問答質量。
人類指令對齊上也下了不少功夫，經過一系列bge向量化+聚類以及人類標注的方式，團隊得到完整、全面的基于人類偏好的排序數據。
然后又多次嘗試PPO、RRHF和DPO在內的人類偏好排序數據訓練策略，最終選擇DPO進行訓練，實現人類偏好對齊，由此提升模型生成答案的安全性和規范性。
最后，在大模型幻覺問題上，中國電信研發團隊也給出了一套完整的解決方案：包括關鍵信息注意力增強技術、多輪知識記憶和強化技術、知識圖譜強化技術以及知識溯源，最終將大模型幻覺降低了40%。
——技術上的努力說了這么多，在造大模型這件事上，電信到底有哪些優勢呢？
最為核心的就是數據。
數據的重要性對于大模型的性能不言而喻，而當下，中文互聯網數據由于數據孤島、AI生成污染等問題存在獲取困難、質量堪憂等情況。
在此，電信除了大量來自百科、書籍、司法、醫藥等維度的通用數據，也憑借自身業務積累了不少行業數據。
這使得電信大模型的中文訓練數據超過25TB，中文總token量超8萬億。
經過Knesey-Ney技術過濾、Minihash+Jaccard排重，以及幾百人專業標注團隊的人工標注，這批數據化為非常高質量的數據集，為星辰AI大模型算法訓練打下堅實基礎。
（值得一提的是，電信也將開源其中大部分數據，值得大伙期待一波。）
數據集有了，其次，算力也不缺：
對于大模型訓練所需的極大算力需求，中國電信通過“2+31”天翼云布局基礎，構建了全國四級超大算力底座來滿足。
簡單來說就是來自集團的2大核心算力集群（包含近萬臺GPU）與31個省級算力集群（同樣近萬臺GPU）進行云邊端協同，實現算力資源全國統籌調度管理，AI能力一鍵下發，多個大模型進行同時訓練也可滿足。
最后，再加上前面所講的一系列核心算法自研和優化，電信憑“數算法”三大強力后盾，甩出了星辰大模型這份成績單。
現在，更是將它豪氣開源，和專業選手一起，敢于直接交給公眾來檢驗。
那么，問題來了——
為什么能做到央企中第一個發布大模型？
首先，是態度上重視。
在大模型和AI技術上，中國電信有基礎有布局。
除了星辰AI大模型，在去年11月舉辦的數字科技生態大會上電信還發布了12個行業大模型，并推出“星辰MaaS生態服務平臺”，實現定制化服務。
以及可開箱即用的大模型生產應用流水線產品“慧聚”，它預置多種基礎大模型、開發環境、數據訓練工具等，使得電信不僅自己生產大模型，還提供能力幫其他企業開發大模型。
而這一切，基于的是電信已歷經10年的AI能力建設。
在軟件算法領域，中國電信的人臉識別、動作檢測、對象跟蹤檢測等多項技術斬獲世界大獎，數字人技術所支撐的智能客服產品也在國際賽事DCASE2023 task-A賽道中獲得季軍，此外還與華為聯合發布了AI高性能推理框架UniStream。
這無比體現著中國電信扎實的AI基礎實力。
其次，有人才有大牛。
如前文介紹，為了搭星辰AI大模型，中國電信快速組建了一支近800人的研發團隊，成員來自國內外頂尖高校，如清華、北大、斯坦福和哥倫比亞等，平均年齡31.79歲。
其中純技術人員占比75%，碩博占比超54.9%，這波人才幫助電信在對內對外業務中取代外部算法能力，實現核心算法能力自主可控。
在廣納基礎人才之外，電信也坐擁一批大牛，其中包括去年年底全職加盟中國電信擔任CTO以及首席科學家的李學龍。
作為AI領域Fellow大滿貫選手、“多模態認知計算”的提出者，他將帶領電信人工智能研究院，繼續開展基礎、前沿研究。
最后，我們了解到，其實不止于AI和大模型，中國電信在很多技術上都進行了投入，并且也取得了同行優勢。
例如量子通信，中國電信不久前發布了具備“量子優越性”能力的“天衍”量子計算云平臺，此前還開通了國內規模最大、用戶最多、應用最全的量子保密通信城域網，并主導制定了中央企業第一牽頭立項的7項量子通信行業標準（含團標）中的5項。
再例如在新一代信息通信技術上，中國電信發布了全球首個支持消費級5G終端雙向語音和短信的運營級產品。
可以看出，中國電信雖為傳統運營商，但在技術上一貫都很重視，并且在其中的投入可能比我們想象得還要深。
因此，對于本段提出的問題：
為什么中國電信能做到央企中第一個發布大模型？
答案也就情理之中了。
