亞馬遜祭出地表最強全家桶，多模態Nova卻敗給Claude 3.5！
就在剛剛，亞馬遜推出了號稱最強大的多模態模型Nova系列。
在多項基準測試中，最強的Nova Pro成功超越了GPT-4o，僅次于Gemini 1.5 Pro、Claude 3.5 Sonnet。
相較之下，Nova Lite和Nova Micro，就要比同級競品差上不少了。
圖片
不過，它的價格非常便宜——每百萬token的輸入價格低至0.0175美元，輸出價格低至0.07美元。
圖片
性能的提升，讓Amazon Nova可以處理復雜推理任務。比如分析復雜文檔、視頻，理解圖表、示意圖，生成高質量的視頻內容，還能構建高級AI智能體。
這次推出的Amazon Nova全家桶如下：
- Amazon Nova Micro，純文本模型，以極低的成本提供最低的延遲響應
- Amazon Nova Lite，成本極低的多模態模型，處理圖像、視頻和文本輸入的速度快如閃電。
- Amazon Nova Pro，功能強大的多模態模型，針對各類任務的準確性、速度和成本的最佳組合
- Amazon Nova Premier，系列中復雜推理性能最強的多模態模型，也是支持蒸餾自定義模型的最佳教師模型
- Amazon Nova Canvas，SOTA圖像生成模型
- Amazon Nova Reel，SOTA視頻生成模型
圖片
簡單的提示「dolly forward」，Amazon Nova Reel就能將單個圖像輸入轉換為簡短視頻
創造力爆棚，視頻理解驚艷
Amazon Nova的創意生成模型，直接讓賣家和廣告商的廣告創意提升到全新的水平。
平均來看，使用這些工具的品牌廣告宣傳的產品數量直接增加了五倍，每個宣傳產品使用的圖片數量增加了一倍，這樣就把預算省到了更需要的地方。
比如下面這個Amazon Nova Reel為某個虛構的意面品牌制作的廣告，簡直太驚艷了。
圖片
在一座「意大利面城」中，建筑由高聳的意大利肉卷面條管雕刻而成，街區點綴著意大利香料景觀，街道兩旁擺滿了美味的馬里納拉醬、螺絲粉面條和嫩肉丸
Amazon Nova Pro的視頻理解能力也是一絕。
研究者要求模型觀看一場足球比賽的無聲視頻片段，然后把比賽內容描述一遍。
結果，模型一口氣準確說出了賽制、球服、球員行動描述以及比賽如何達到高潮的詳細信息！
圖片
視頻描繪了一場在綠地上正在進行的足球比賽。兩隊的球員，一隊身穿黃色隊服，另一隊身穿白色隊服，正在比賽。黃隊四分衛將球傳給接球手，接球手接住球并開始向前跑動。白隊的防守隊員追趕他，試圖阻止他。這場比賽的高潮是一次鏟球，將接球手放倒在場上
多模態實現SOTA
接下來，我們詳細看一下全家桶中幾大成員的詳細信息。
Amazon Nova Pro：自研最強多模態
Amazon Nova Pro能夠處理多達30萬個輸入token，并為多模態智能體工作流設定了新標準，這些工作流需要調用API和工具來完成復雜的工作流。
使用Amazon Nova模型執行智能體工作流：智能體可以規劃并執行多步動作，利用瀏覽器和基于屏幕的用戶界面作為通用工具來自動化終端客戶的任務
它在視覺問題解答（TextVQA）和視頻理解（VATEX）等關鍵基準上都實現了最先進的性能。
在輸入300K token的情況下，它可以處理超過一萬五千行代碼的代碼庫。Amazon Nova Pro還可作為教師模型，用于蒸餾Amazon Nova Micro和Lite的自定義變體。
圖片
Amazon Nova Lite：主打一個性價比
圖片
圖片
將概念變為現實
Amazon Nova系列還包括兩款創意內容的生成式模型，Amazon Nova Reel和Amazon Nova Canvas。
Amazon Nova Canvas：圖像生成
這是一個先進的圖像生成模型，可生成工作室水準級別的圖像，并可精確控制樣式和內容，包括豐富的編輯功能，如修復、擴圖和背景移除。
左右滑動查看
Amazon Nova Reel：視頻生成
Amazon Nova Reel支持用戶通過文本提示和圖像來控制視覺風格和節奏，并生成專業品質的視頻內容，用于營銷、廣告和娛樂。
Amazon Nova Lite：主打一個性價比
Amazon Nova Reel：視頻生成
Amazon Nova Reel支持用戶通過文本提示和圖像來控制視覺風格和節奏，并生成專業品質的視頻內容，用于營銷、廣告和娛樂。
價格再便宜75%，還能微調和蒸餾
Amazon Nova Micro、Amazon Nova Lite和Amazon Nova Pro的價格，比Amazon Bedrock中各自智能類別中性能最佳的模型至少還要便宜了75%。
而且，它們也是相比之下最快的模型。
這些模型與Amazon Bedrock集成，是一項支持完全托管的服務，可通過單個API使用來自領先AI公司和亞馬遜的高性能基礎模型。
而且，模型還支持自定義微調，允許客戶將模型指向自己專有數據中的示例，因為這些示例已被標記，所以提高了準確性。
這樣，Amazon Nova模型可以從客戶自己的數據（包括文本、圖像和視頻）中了解對客戶最重要的內容，然后由Amazon Bedrock訓練一個私人微調模型，提供量身定制的響應。
圖片
除了支持微調之外，這些模型還支持蒸餾，從而能夠將特定知識從更大、能力更強的「教師模型」轉移到更小、更高效的模型，后者不僅高度準確，而且運行速度更快、成本更低。
并且，Amazon Nova模型與Amazon Bedrock知識庫集成，還擅長RAG，就能讓響應基于客戶組織的內部數據，來保證最佳的準確性。
因為模型已經過優化，在代理性應用中非常易于使用，還能通過多個API與組織的專有系統和數據進行交互，從而執行多步驟任務。
圍剿英偉達，爭奪AI芯片之王
在當下最炙手可熱的AI芯片賽道中，挑戰者們正上演著一場激烈的「造芯」革命。
據市場研究機構Omdia的數據顯示，在人工智能計算領域，數據中心運營商在非英偉達芯片計算機上的支出預計將于今年增長49%，總額達到1,260億美元。
這個數字，無疑釋放出了芯片市場潛力無限的信號。
AI推理，彎道超車
多年來，英偉達在AI芯片領域一家獨大，盡管其他公司不斷嘗試，但始終未能撼動其霸主地位。
但如今，局面正在發生改變。「推理計算」成為這場AI技術革命的關鍵詞。
無論是科技巨頭，還是小型初創，瞄準了為AI研發定制芯片的賽道，比如Groq、Cerebras Systems等等。
Meta就是一個典型案例。雖然他們使用英偉達芯片訓練了Llama3.1 405B，但在實際為用戶提供服務時，采用的是AMD MI300s芯片。
圖片
不僅如此，這些新晉玩家們從英偉達身上學到了一課：單純賣芯片完全不夠了。他們開始籌謀提供完整的計算方案，讓客戶充分發揮AI芯片的最大潛能。
比如，AWS就在剛剛舉辦的re:Invent大會上，宣布了基于Trainium2芯片的計算服務正式上線。并同時公布了性能更為強大的Trainium 3芯片的研發計劃。
Amazon EC2 Trn2 UltraServers是全新推出的EC2產品，配備64個互聯的Trainium2芯片。
它由四臺服務器構成，每臺服務器裝配16枚Tranium芯片。（英偉達最多為8枚）
Trainium2
服務器之間使用超高速的NeuronLink互連，最大可擴展到83.2個峰值千萬億次計算（petaflops），是單個實例計算、內存和網絡能力的四倍，這使得訓練和部署全球最大模型成為可能。
亞馬遜表示，這已經是Ultraserver在保證散熱安全的前提下所能達到的最大配置。
Amazon EC2 Trn2 UltraServers（測試單元）
這些還不夠，AWS正在和Anthropic合作進行「Ultracluster」超級計算機計劃。
他們正在構建一個由Trn2 UltraServers組成的EC2 UltraCluster，并將其命名為「Project Rainier」。
這個被命名為「Project Rainier」的集群配備數十萬個Trainium2芯片，計算能力是當前領先AI模型訓練需求的五倍多。
AWS計算和網絡服務部門副總裁戴夫·布朗透露，這個集群將建設在美國境內，預計在2025年投入使用。
它將躋身全球最大規模的AI模型訓練集群之列。
圖片
雖然亞馬遜早期推出的AI芯片，包括第一代Trainium在內，并未在市場上獲得顯著反響。
但是對于新一代的Trainium2芯片，亞馬遜展現出了更強的信心——其運算速度較前代產品提升了四倍。
并且，蘋果也將成為其最新芯片客戶之一。
圖片
類似的，AMD也宣布將于明年推出新一代AI芯片，直接與英偉達的Blackwell系列展開競爭。
目前，工程師們已經開始對芯片進行全方位的測試。
一年前發布的MI300的AI芯片，當年就創造了超500億美元銷量
與此同時，谷歌、微軟和Meta等科技巨頭也都在開發自己的人工智能專用芯片，旨在提升特定計算任務的處理速度并降低運營成本。
本月，谷歌將開始推出基于其第六代自研芯片Trillium的云服務，該芯片的性能較前代產品提升了近5倍。
不過，這些公司仍在使用英偉達芯片構建大規模計算集群。
老黃：免費送，也沒用
盡管AI芯片新秀們群雄逐鹿，但這并不意味著英偉達即將會失去霸主地位。
黃仁勛曾在斯坦福大學演講臺上，擲地有聲地表示，「即便競爭對手的芯片免費贈送，在性價比上仍然無法與我們相提并論」。
這句話，道出了英偉達十足的底氣。
畢竟，如今市場中，在人工智能軟件和推理計算方面，能打的芯片非英偉達莫屬。
黃仁勛進一步指出，雖然新一代Blackwell人工智能芯片的能耗有所提升，但其單位能耗的計算效率大幅提高。目前市場對這款芯片的需求異常火爆。
另有據場研究機構IDC統計數據佐證了這一點。
數據顯示，2024年全球人工智能半導體市場規模預計將達到1,175億美元，并預計在2027年底進一步擴大至1,933億美元。
IDC在2023年12月發布的最新研究報告顯示，英偉達當前在AI芯片市場中占據著約95%的主導地位。
圖片
參考資料：
https://www.nytimes.com/2024/12/03/technology/nvidia-ai-chips.html
https://aws.amazon.com/cn/ec2/ultraclusters/
https://x.com/ArtificialAnlys/status/1864023052818030814
