編輯 | 言征
出品 | 51CTO技術棧（微信號：blog51cto）
超長上下文窗口的天花板來了！
剛剛宣布新一輪3.2億美元融資的AI編碼初創新星Magic剛剛放出了一個重磅炸彈：
推出首個1億上下文窗口的模型 LTM-2-mini！
圖片
想一下，1億上下文窗口，相當于你可以在prompt中直接丟給大模型1000萬行代碼或者750本英文小說，然后告訴大模型一次性消化這些內容，并從這些內容中得到你想要的答案，而不用再需要來一次微調、SFT，就可以極低成本的讓大模型秒變成一個定制版的。
1.AI輔助編程的新角逐點：超長上下文窗口
AI輔助編程賽道非常卷，巨頭投入的產品也不少，包括微軟很早就投入的GitHub Copilot。但 Magic 的創新之一在于其模型的超長上下文窗口。
Magic 聲稱其最新型號 LTM-2-mini 擁有 1 億個 token 上下文窗口。（token 是原始數據的細分位，例如單詞“fantastic”中的音節“fan”、“tas”和“tic”。）1 億個 token 相當于大約 1000 萬行代碼或 750 本小說。它是迄今為止所有商業型號中最大的上下文窗口；第二大是Google 的 Gemini 旗艦型號，擁有 200 萬個 token。
PS：國內上一次掀起長文本窗口熱潮的還是Kimi，可以處理200萬字上下文。
Magic 將自己模型的架構稱為“長期記憶網絡”（Long-term Memory Network），簡稱“LTM”。
據本周四Magic官網博客中指出：目前AI模型有兩種學習知識的來源：訓練和推理過程中的上下文。但上下文因為太短了，所以訓練占據主導地位。但超長文本可能會改變這一現狀。
“我們的LTM模型不依賴于模糊記憶，而是經過訓練，可以對推理過程中給予的多達1億個上下文標記進行推理。……可以想象，如果模型中包含了代碼、文檔和庫（公共互聯網上不存在的內容），代碼合成的質量將會有多么好。”
此外，Magic還披露了對于超長上下文方面的進展，通過思維鏈式哈希訓練，LTM-2-mini的序列維度算法比Llama3.1 405B中的注意力機制還要便宜，是后者的1/1000。而在內存需要方面，LTM只需要每個用戶單個HB100的一小部分。
圖片
Magic 表示，得益于其長遠背景，LTM-2-mini 能夠為一個開源項目實現一個密碼強度計，并幾乎自主地使用自定義 UI 框架創建一個計算器。
圖片
可以僅通過代碼庫和聊天，在無需打開文件、編輯記錄或其他指示符的情況下就能實現自定義上下文框架
圖片
該公司目前正在訓練該模型的更大版本。
2.Magic的野心：自動編程僅是開始，AGI才是終極
Magic 的團隊規模很小，只有二十幾個人，而且沒有什么收入，但Magic的野心很足，商業版圖中，自動編程也僅是剛剛開始。
當然，首選編程賽道是一個明智的選擇。據 Polaris Research 估計，到 2032 年，Magic 瞄準的市場價值可能達到 271.7 億美元，投資者認為這是一項值得的、而且可能非常有利可圖的嘗試。
盡管人們對人工智能輔助編碼工具的安全性、版權和可靠性存在擔憂，但開發人員對它們表現出了熱情， GitHub 最新民意調查中的絕大多數受訪者表示，他們已經以某種形式采用了人工智能工具。微軟 4 月份報告稱，Copilot 擁有 超過 130 萬付費用戶和超過 50,000 個商業客戶。
然而，Magic 的野心遠不止于實現常規軟件開發任務的自動化。該公司在網站上談到了通往 AGI 的道路——即比人類更可靠地解決對齊等問題的人工智能。
圖片
他們不只是說說而已，而是有了自己堅信的實現路徑，他們希望結合前沿的預訓練、特定領域的強化學習、超長上下文、測試時間計算這些技術來實現這一目標。
為了實現此類人工智能，總部位于舊金山的 Magic 最近聘請了 OpenAI 超級計算團隊前負責人 Ben Chess，并計劃擴大其網絡安全、工程、研究和系統工程團隊。
3.狂攬近5億美金
Magic是一家人工智能初創公司，致力于創建模型來生成代碼并自動執行一系列軟件開發任務，該公司已從包括前谷歌首席執行官Eric Schmidt在內的投資者那里順利籌集了巨額資金。
周四，Magic在一篇博客文章中表示，它完成了一輪 3.2 億美元的融資，投資者包括施密特、Alphabet 的 CapitalG、Atlassian、Elad Gil、Jane Street、Nat Friedman 和 Daniel Gross、Sequoia 等。這筆融資使該公司的總融資額達到近 5 億美元（4.65 億美元），使其躋身資金雄厚的 AI 編碼初創公司行列，其成員包括Codeium、Cognition、Poolside、Anysphere和Augment。（有趣的是，施密特也支持 Augment。）
7 月份，路透社報道稱，Magic 正尋求以 15 億美元的估值籌集超過 2 億美元。顯然，這輪融資超出了預期，盡管這家初創公司目前的估值無法確定；Magic 在 2 月份的估值為 5 億美元。
4.牽手巨頭，與谷歌、英偉達進行合作
Magic 本周四還宣布與 Google Cloud合作，在 Google Cloud Platform 上構建兩臺“超級計算機”。Magic-G4 將由 Nvidia H100 GPU 組成，而 Magic G5 將使用 Nvidia 計劃于明年上線的下一代 Blackwell 芯片 Nvidia GB200。
Magic 表示，其目標是將后者集群擴展到“數萬個” GPU，并且這些集群一起將能夠實現 160 百億億次浮點運算，其中 1 百億億次浮點運算相當于每秒一千萬億次計算機運算。
Magic 聯合創始人兼首席執行官 Eric Steinberger 在一份聲明中表示：“我們很高興與谷歌和 Nvidia 合作，在谷歌云上打造我們的下一代人工智能超級計算機。Nvidia 的 [Blackwell] 系統將大大提高我們模型的推理和訓練效率，而谷歌云為我們提供了最快的擴展時間表和豐富的云服務生態系統。”
5.創始人：從高中開始的極客生涯
Eric Steinberger和Sebastian De Ro于 2022 年共同創立了 Magic。在此前的采訪中，Steinberger告訴 TechCrunch，他從小就被人工智能的潛力所啟發；高中時，他和朋友們把學校的電腦連接起來，進行機器學習算法訓練。
這段經歷為Steinberger進入劍橋大學攻讀計算機科學學士學位埋下了伏筆（一年后他退學了），后來他進入 Meta 擔任人工智能研究員。De Ro來自德國業務流程管理公司 FireStart，在那里他一路晉升為首席技術官。Steinberger和De Ro在前者共同創建的環境志愿者組織 ClimateScience.org 相識，一拍即合創辦了Magic。
Magic 開發了AI驅動的軟件開發工具，旨在幫助軟件工程師編寫、審查、調試和規劃代碼更改。這些工具的運作方式類似于自動配對程序員，試圖理解并不斷學習各種編碼項目的背景。
目前這些工具并不收費，但使用需要填寫waitlist：
圖片
6.寫在最后：“小團隊，高融資”屢見不鮮
AI時代的創業，似乎有一個“小團隊，高融資”的現象：一個幾人、十幾人的小團隊就可以融到上億美元的融資（OpenAI掌舵人Altman的觀點）。
同樣Magic也是如此，目前該公司一共23名員工。不過硬實例也沒得說：Infra方面，非常豪橫，8000臺H100；Magic團隊此輪更是拿到了3.2億美融資的融資，谷歌和和英偉達的支持；人才密度上，前OpenAI成員的加入更是如虎添翼。
回到AI產品領域，我們看到大模型的研究前沿，正在悄然發生變化，之前發展得重點是在訓練層面的參數規模、數據多模態，而現在我們看到的是推理能力的進化：超長文本、推理時間計算、強化學習、對齊等。
可以看到，AI輔助賽道的角逐，已經成為了這波AI創業浪潮中的一個風向標。
