微軟深夜再掀AI生產力革命，奧特曼登臺「自曝」新模型！定制Copilot十億打工人狂歡 精華
AI生產力的革命，微軟怎會缺席？
在今天的開發者大會上，曾經誓要「顛覆」10億打工人的Copilot，依然是全程的主角。
沒想到70年后，還是要靠微軟重新定義軟件
不僅有Copilot加持的全新AI PC，日常生活助手Copilot，還有為全世界開發者提供的AI工具堆棧。
更驚喜的是，Sam Altman竟然在發布會的最后，被CTO Kevin Scott請上了臺！
兩人開場先是一波寒暄，然后共同感慨，這簡直是瘋狂的一周，瘋狂的一年！
針對前段時間的OpenAI離職潮，奧特曼似乎用了一些隱晦的話語來暗戳戳回應：「為了讓GPT變得穩健、安全，我們做了很多工作。OpenAI 創建了眾多團隊來確保LLM按預期工作?！?/p>
三大殺器
過去的一年半里，世界發生了諸多變化，其中最令Altman本人震驚的事是什么？
Altman表示，數百萬開發者是推動過去一年里世界巨變的核心。
從GPT-4 ，再到GPT-4o的發布，盡管模型API推出時間不久，但我從未見過一項技術能如此迅速地得到有意義的應用。
人們正在構建我們從未想過的創新應用，完全展現了開放API的價值所在。
而Kevin Scott也調侃道：看得出來，你們很好地利用了手里的超強超算。
2020年交付的「鯊魚」級超算訓出了GPT-3，接下來的「虎鯨」級超算訓出GPT-4，而現在「鯨魚」級超算微軟正交付給OpenAI。
奧特曼還表示，新的模態和整體智能將是OpenAI下一個模型的關鍵。
他預計模型將會變得更智能、更強大，更安全，而且GPT-4o將會速度更快，成本更低。
是的，就像摩爾定律推動信息革命一樣，Scaling Law和模型架構一起，改變了我們使用數據、生成數據的方式。
在這些縮放定律的影響下，我們擁有一個新的自然用戶界面，這是一個模型，這意味著支持文本、語音、圖像、視頻作為輸入和輸出。
Microsoft Copilot，是日常生活中的助手；Copilot stack，則可以讓我們構建AI程序、解決方案等。
還有一個重頭戲，當然就是昨天發布的全新Copilot+ PC，它直接打破了紀錄，成為有史以來最快的AI電腦！
如今，Windows成為了構建AI應用的最佳平臺。而這種影響，不啻于Win 32對圖形用戶界面的意義。
GitHub Copilot「插件商店」首發
繼Copilot成為最流行的代碼補全工具和「個人助理」之后，微軟本次又更新了這個效率提升神器。
微軟表示，很多開發者在代碼之外花費了75%的時間，比如追蹤工作流、以及撰寫需求文檔和規格說明等。
不僅如此，定位和修復bug的工作往往需要頻繁進行上下文切換，開發者在數據庫、IDE、代碼倉庫、監控工具、云平臺之間疲于奔命，無法專注于代碼本身。
這正是全新GitHub Copilot可以發揮作用的地方。
它可以通過對話的方式將所有流程整合在一起，幫你調用所有工具和平臺，開發者只需要專注于IDE界面的核心代碼內容，最大限度減少上下文切換。
不僅如此，基于強大的網絡搜索和推理決策能力，Copilot還能回答關于開發過程的問題。
比如在下面這個demo中，用西班牙語描述需求，Copilot就可以自動編寫出代碼，并為Azure上的部署提供建議。
GitHub產品副總裁表示：「使用自然語言編程將繼續降低軟件開發的門檻。未來，10億人可以利用GitHub Copilot，以自然語言的方式與開發技術棧中的任何工具集成，在GitHub上構建代碼?！?/p>
GitHub Copilot支持各種各樣的開發工具和平臺，包括DataStax, Docker, MongoDB, Octopus Deploy, Pangea, Pinecone, Product Science, ReadMe, Sentry, Stripe以及微軟自家的Office全家桶、Azure和Teams。
GitHub產品高級副總裁Mario Rodriguez表示：「我們的目標是使GitHub Copilot成為最集成、最強大、最智能的AI平臺。」
在此基礎上延伸出的Copilot Workspace更是提高了開發團隊使用GitHub管理項目代碼的效率。
之前，用戶只能通過Git Bash命令行上傳項目文件，圖形化界面能進行的操作非常有限。
有了Copilot Workspace，各種時間線和代碼分支一目了然，上傳文件也容易很多。
而且還提供了非常清晰的代碼變動可視化界面，讓你自始至終都對項目有滿滿的掌控感。
截止目前，GitHub Copilot仍處于內測階段，之后將在GitHub插件市場中發布。
不僅如此，對開發者來說，更酷的是——你可以定制自己的Copilot插件！
3種方式，定義自己的Copilot插件
SharePoint
SharePoint是微軟開發的用于組織內部存儲、管理和共享內容的平臺，每天上傳數量超過20億條。
為了減少工作中搜索和篩選內容的時間，微軟開發了從SharePoint創建Copilot的功能。
任何擁有SharePoint網站編輯權限的人，只需點擊幾下就可以自定義Copilot功能，還可以通過Teams聊天框、電子郵件等方式將創建好的Copilot分享給團隊中其他成員。
點選好SharePoint中允許訪問的內容范圍，以及Copilot的身份和行為等信息，它就可以立刻投入工作了。
比如內容回答問題、總結信息或者查找文件，基于你之前授權給它的內容，Copilot可以提供最新、最準確的響應。
想要在SharePoint之外創建自己的Copilot?
沒問題！微軟還發布了Copilot Studio，提供更靈活的自定義功能。
Copilot Studio
在SharePoint之外，Copilot Studio支持超過1000個數據連接器，方便你將各種數據源導入Copilot。
Copilot Studio依舊采用類似SharePoint中「對話驅動」的界面，你可以像聊天一樣描述——想要Copilot有什么樣的知識和功能，Copilot Studio就可以立即創建，并支持實時的測試、修改和發布。
為了用戶更容易上手使用，Studio中還內置了各種Copilot模板，比如用于組織清晰度的Organizatiion Navigator、用于員工健康管理的Wellness等，未來幾個月還會有更多Copilot模板發布。
使用Copilot Studio，你會有一種一切盡在掌握的感覺。
VSCode
如果你是一個高端玩家，更喜歡用代碼優先的方式構建插件，也可以使用Visual Studio Code和Teams Toolkit，編寫函數來精準定義Copilot的工作流。
Copilot新能力解鎖
Copilot早就不止步于代碼補全功能，而是已經演變「個人助理」，成為打工人們的效率提升神器，而且與多種工具和平臺合作，構建起一套完整的「Copilot生態」。
本次Build大會上，微軟又為Copilot解鎖了一系列新功能。
Team Copilot
Team Copilot將功能延伸到「個人助理」之外，開始成為團隊的一員。
它能承擔單獨的職責，提升整個團隊的工作效率，比如組織并記錄會議、跟蹤討論內容等，甚至可以充當項目經理，為成員分配任務并及時跟進ddl。
對于聊天界面中團隊成員們的討論進展，Copilot還能實時更新自己的記錄內容。
可以在Microsoft自家開發的Teams、Loop或者Planner等協作辦公軟件中使用Team Copilot。
這項功能將在今年晚些時候以預覽版形式向有Copilot許可證的用戶發布。
Agents Copilot
如果Copilot僅僅進化到團隊助手，你可能還是小看了微軟。
就像用戶可以自定義Copilot插件一樣，你也可以使用Copilot Studio自定義一個Copilot Agent。
它不再像原來一樣被動地等著你問問題或者分配任務，而是變成「事件觸發」的智能體，像虛擬員工一樣工作并自動執行任務。
這意味著，Copilot Agent不僅需要記憶、上下文推理以及根據反饋學習的能力，而且需要更加主動，能夠在后臺自發執行任務。
這樣的Copilot豈不是會讓一大批白領失業？
微軟業務應用程序和平臺公司副總裁Charles Lamanna在采訪中表示，它可以消除一些重復、瑣碎的工作，例如數據輸入等，也許都是沒有人真正想做的事情。
GPT-4o上新，多款基礎模型可用
除了Copilot華麗的演示之外，在開篇提到的三個平臺中，最核心的是構建最完整的端到端堆?！狢opilot stack。
其中，最底層是基礎設施，然后是基礎模型層。
基礎設施
為了AI工作負載，微軟特意構建了全新的數據中心。
因此，微軟可以用每一兆瓦的功率，來降低AI的成本和功耗。
截止2024年5月，Azure超算能力已經實現了30倍的增長！
可以說，他們提供了世界上最先進的AI加速器，開發者可以擁有最完整的AI加速器選擇。
從GPT-4到GPT-4o，不僅模型的速度提高了6倍，成本更是便宜了12倍。
而這背后，是微軟與英偉達、AMD的深度合作，以及自研芯片的大力推進。
英偉達關鍵平臺產品，都會引入微軟的云中。
而說到和AMD的合作，微軟是第一個提供最新ND MI300X v5虛擬機的云服務供應商。
無論對于AMD，還是對于微軟，這都是一個意義重大的里程碑。
自研Azure Maia 100，只要你用過微軟的服務，或多或少都會接觸到。
而最新Azure Cobalt也開始進行公開預覽了，目前已經為Microsoft Teams等服務提供了數十億次對話的支持。
基礎模型
在基礎模型方面，微軟與OpenAI展開了深度合作，而現在GPT-4o可以在Azure上進行訓練。
一張圖，展示了GPT-4o依舊是最強的模型。
而在如此強大的模型的加持下，Copilot甚至已經「進化」到指導我們怎么玩游戲了！
舉個例子，你想弄清如何在《我的世界》中制作一把劍，卻毫無頭緒。
Copilot會從頭教你：為了造一把劍，你需要先收集材料。按E鍵，就能打開自己的材料庫了。
Copilot發現，我們缺少制作劍刃的材料，為此，需要收集木材、石頭、鐵、金或者鉆石。
忽然出現的小人，讓玩家嚇了一跳。
Copilot提示道：這是一場僵尸賽跑，我們需要盡快擺脫它們。要么快速建一座方塊塔，或者快速找到一個避難場所，還可以挖到山的另一側。
此外，微軟首次介紹了十分強大的Agent能力。
想露營但找不到合適的鞋怎么辦？給它看一眼你的鞋，就能讓它給你提意見了。
Agent分析道，這款非常適合夏季遠足、讓雙腳保持涼爽，然而卻不是這次的最佳選擇。
既然如此，我們就讓Agent直接挑一款最合適的。
Agent發現，這次最合適的產品是TrekReady Hawking，它為腳踝提供了支撐，還能在寒冷的山區為腳部提供保暖。然后，它還幫我們把這雙鞋添加到購物車中。
當然，除了OpenAI的模型之外，微軟Azure平臺還將提供多款可用的模型。
并且，微軟依舊擁抱開源社區，與Hugging Face合作。
最強小語言模型：Phi-3
除了引入外部模型之外，微軟一直以來都在押注小模型，并引領了一場SLM革命。
從去年6月Phi-1面世，到Phi-1.5、Phi-2，再到如今Phi-3，微軟小模型已經完成四次迭代升級。
今天，Phi-3家族正式官宣新成員：
Phi-3-vision、Phi-3-small，Phi-3-medium。
其實，Phi-3-small，Phi-3-medium對于每個人來說，或許并不陌生了。
上個月，微軟首次亮相Phi-3-mini，經過3.3萬億token訓練僅有38億參數，而且還可以部署在手機上，性能與Mixtral 8x7B和GPT-3.5相媲美。
論文地址：https://arxiv.org/pdf/2404.14219
另外，技術報告中，還首次展示了經過4.8T token訓練的7B模型Phi-3-small，以及14B模型Phi-3-medium。
具體來說，Phi-3-small提供了8k和128k上下文，實力與Llama-3-8B-In、Gemma 7B，以及Mistral 7B相當。
而提供了4k和128k上下文的Phi-3-medium，性能可以超越Mistral 8x7B。
而現在，這些模型已經在Hugging Face上發布，開發者們可以下載權重并使用。
多模態Phi-3
真正引人關注的是，Phi-3在今天正式推出了多模態模型Phi-3-vision，有42億參數，128k上下文。
它可以完成一般的視覺推理任務，比如現場演示中，詢問圖表中的信息。
甚至，人們還可以使用Phi-3-vision進行OCR、表格理解、一般圖像理解等。
值得一提的是，這款輕量模型僅用了一天半的時間，在512塊H100上完成了訓練。
它使用了500B視覺和文本token，其中「教科書數據集」一直以來是Phi系列模型的訓練核心。
這次，Phi-3-vision的訓練的圖像數據來自，精選高質量圖文搭配的內容，還有新創建的「教科書」式的綜合數據。
其中包括，圖表、表格、示意圖、幻燈片等教授的數學、編碼、常識推理等。
盡管參數量級非常小，在多模態基準測試中，Phi-3-vision的性能超越了Claude 3 haiku、LlaVa和Gemini 1.0 Pro。
甚至，各項性能非常接近GPT-4V。
一些開發者已經上手體驗了，并稱令人印象極為深刻。
還有一些開發者們也決定嘗試一番。
以上Phi-3模型，不僅可以在云端運行，甚至可以在本地運行。
SOTA小模型Phi-Silica
此外，納德拉還在今天發布了Phi系列的SOTA模型——Phi-Silica。
微軟稱，這是一款專為Copilot+ PC設計的33億參數模型，每秒可以處理650 token的，功率消耗約為1.5瓦。
這就意味著，Phi-Silica不會占用大量算力，并可以釋放PC的CPU和GPU來處理其他計算。
另外，它的token生成會重用NPU的KV緩存，并在CPU上運行，大約每秒可輸出27個token。
微軟表示，「Phi-Silica的不同之處在于，它是Windows首個本地部署的語言模型」。
它針對Copilot+PC NPU進行了優化，可在本地設備上實現超快的推理響應速度。
這是Windows將先進的AI技術直接帶給第三方開發者的一個里程碑時，為他們開發出色的Windows原生體驗和第三方體驗鋪平了道路。
Phi-3模型最新的應用，便是微軟還和可汗學院聯合打造教育模型。
在模型的幫助下，學生們不僅得到了個性化的AI指導，老師們也感受到了自己的價值。
更重要的是，在Phi-3的加持下，能夠免費提供給教育工作者的Khanmigo，必將極大地改變美國的教育界。
Windows
Copilot+ PC將重新定義任何一個人在PC所做的一切。
Pavan Davuluri展示了Copilot加持下的玩家，不用谷歌搜索，詢問即可通過被卡住的關卡。
通過將Copilot集成到XBox中，可以大幅提升游戲體驗。
此外，微軟還與Quest聯手，將Copilot帶進VR世界，并為Quest帶來可擴展到3D空間的Windows應用程序。
本文轉自 新智元 ，作者：新智元
