編輯 | 伊風
深夜，騰訊開直播發(fā)布了T1的正式版。
騰訊在架構上大膽棄用了Transformer，首個基于混合Mamba架構的超大型推理模型就誕生了！
這樣做有啥好處呢：簡單地說，混合Mamba架構通過降低計算復雜度、緩存占用，同時發(fā)揮其在處理長序列和捕捉復雜上下文方面的優(yōu)勢，成功應對了大規(guī)模強化學習訓練的挑戰(zhàn)，顯著提升了系統(tǒng)的整體效率和吞吐量。還實現(xiàn)了實現(xiàn)了訓練跟推理成本的雙下降！
從此，模型無論是思考還是生成答案都快到起飛！
圖片
官方也是非常自信地宣布：T1性能達到超一流水平，僅次OpenAI o1！
圖片
先來放個體驗地址：https://llm.hunyuan.tencent.com/#/chat/hy-t1
圖片
對壘DeepSeek，T1速度快、情商高、幻覺少！
騰訊T1選擇深夜直播的目的很明顯：沖向國際化！
因此，在這場直播的前半段，也是相當頻繁地以目前海內(nèi)外爆火的DeepSeek為標桿。
首先，在回答質(zhì)量基本打平的情況下，T1的速度達到了DeepSeek的兩倍：
再做一個條件推理題目時，T1早早就進行了交卷。
除了生成速度之外，T1在處理復雜指令上，也進行了改進。在demo的演示中，小哥出了上聯(lián)“深深淺淺溪流水”，進行思考后T1對了“洋洋灑灑江河滿”。（雖然也不是最工整的對子，但已經(jīng)相當出色）。
圖片
其次，T1在回答問題的文風上做了優(yōu)化，使其回答更具通用性。
團隊成員介紹說，我們觀察到某些推理模型像理工男，喜歡用高深的硬科技詞匯……?；煸猅1則對此進行調(diào)整，雖然同樣擅長理工科的長推理，但在文科方面表現(xiàn)得比較中性，更適合通用任務和常識性任務。
“高深的硬科技詞匯”，DeepSeek:你直接報我名得了。
上圖：DeepSeek偏愛“量子糾纏”等術語
最后，T1還針對目前大模型飽受詬病的幻覺問題做了優(yōu)化，摘要幻覺率顯著低于行業(yè)水平，成為一大亮點。
“推理模型雖然看上去思考了很多，但就會產(chǎn)生更多的幻覺，有時候是無中生有，有時是張冠李戴?！被煸猅1針對這方面做了重點優(yōu)化。
小哥們表示，用T1來解讀研報非常香，簡直是打工人的福音。
圖片
技術天團解密：T1的超高性能從何而來
既然直播請到了技術團隊，那肯定得解析下T1為何有如此多的獨到之處。
圖片
團隊成員將其概述為以下三點：
1. 強大的通用模型基座
T1基于混元Turbo S通用模型基座，通過大規(guī)模高質(zhì)量數(shù)據(jù)訓練，在預訓練階段打下堅實基礎。
2. 創(chuàng)新的后訓練數(shù)據(jù)策略
在后訓練階段，T1采用獨特的指令激發(fā)策略，注重高質(zhì)量Prompt和Response數(shù)據(jù)的獲取。通過復雜指令的多樣性和難度分級系統(tǒng)，確保指令的豐富性和層次性。同時，通過約束模型為每條Prompt生成Checklist，篩選出滿足多樣化約束的指令，防止指令分布不均勻。
3. 嚴格的數(shù)據(jù)質(zhì)量把控
T1在數(shù)據(jù)質(zhì)量方面采取了嚴格措施。首先，通過數(shù)據(jù)質(zhì)量檢測Pipeline（指的是按照特定順序執(zhí)行的質(zhì)量檢測步驟或操作流程），結(jié)合傳統(tǒng)算法和大模型檢測方法，確保訓練數(shù)據(jù)的基礎質(zhì)量，避免低級錯誤。其次，針對長思維鏈數(shù)據(jù)中的幻覺和邏輯錯誤問題，訓練了一個Critic（批判）模型進行嚴格把控。該模型能夠識別和檢測數(shù)據(jù)中的噪音問題，確保訓練數(shù)據(jù)的準確性和可靠性，從而提升模型在復雜任務中的表現(xiàn)。
不僅如此，團隊還發(fā)現(xiàn)了一個很有意思的現(xiàn)象，即從理科訓練獲得的推理能力是可以通過能力遷移到文科和其他領域的。
因此，團隊刻意讓模型去進行能力遷移，通過將早期版本融入獎勵系統(tǒng)指導正式版本迭代，提升通用能力。
極致工程化，應對超大型推理模型的三大挑戰(zhàn)
不僅是技術創(chuàng)新，T1團隊在工程化方面也做了很多工作。
團隊成員介紹說，超大型推理模型目前面臨著“三座大山”：計算資源的效率挑戰(zhàn)、高帶寬帶來的通信挑戰(zhàn)、集群規(guī)模擴大之后，在規(guī)模擴展和穩(wěn)定性方面的挑戰(zhàn)。
針對這些讓人頭疼的問題，T1團隊做了什么：
1. 提升計算資源利用率，優(yōu)化通信效率
通過優(yōu)化，T1在萬卡訓練任務中，計算資源利用率處于行業(yè)領先水平。同時，突破了分布式訓練和推理的通信瓶頸，有效提升了端到端存儲，使得訓練效率提升了2.6倍，推理成本降低了約70%。
2. 保障服務穩(wěn)定性
在大規(guī)模GPU集群中，騰訊實現(xiàn)了萬卡線性擴展，加速比達到99%，服務穩(wěn)定性達到99.5%，故障率僅為行業(yè)平均水平的三分之一。
3. 自研框架與組件
為高性能保駕護航的安全平臺主要包括兩個組件：
訓練組件（安全PDM）：針對低端算力和顯存限制，騰訊自主研發(fā)了大規(guī)模訓練框架，通過統(tǒng)一內(nèi)存顯存管理和多維并行優(yōu)化，顯著提升了訓練的可擴展性。
推理組件（安全HCF）：支持萬億級別的MOE大模型部署，具備多種并發(fā)策略、投機采樣、量化和稀疏化壓縮策略。此外，還支持PD分離部署策略，以充分利用高低端顯卡組合的性能。
4. 多模態(tài)場景的應用
Angel平臺已經(jīng)在多個大模型場景中廣泛應用，包括多模態(tài)、語音、3D、視頻等，展現(xiàn)了其高性能和高穩(wěn)定性的優(yōu)勢。
寫在最后
在寫這篇文章的時候，小編也忍不住體驗了一把T1，的確速度拉滿。
在我測試的這個案例中，T1生成速度飛起的同時，思考的維度全面、信息給的更加豐富。
圖片
問題：為什么意大利面是低GI食物？
相信在這個周末，T1會擁有很多的實例測試，我們就能更加了解首款混合Mamba架構推理模型的真正實力了。
或許，T1的這波投石問路，會讓接下來有更多非Transformer的模型涌現(xiàn)出來呢？
