Windows最新搭載微軟自研模型Mu，一句話搞定所有系統配置
還在為復雜的Windows設置頭疼？微軟來重新定義設置界面交互了。
全新發布的設備端小語言模型Mu，讓Windows 11的設置也擁有了自己的AI Agent。
有了它，查找和更改PC設置就變得容易得多，現在只需要一個簡單的問句，例如：
我的鼠標指針太小。
Mu就會立馬推薦解決步驟，一鍵點擊應用就可以自動執行任務，獲得一個Plus版指針。
或者想要聲控電腦？
也是直接在搜索欄輸入自己的需求就能夠完成設置。
這下終于可以不用到處求助度娘或小紅薯，某某功能又該怎么設置？聽懂的都淚目了TT。
Mu將面向Copilot+PC，實現將自然語言查詢直接映射到設置函數調用，本地運行相當高效，每秒能提供超100個token。
性能堪比微軟的得意之作Phi模型，但只有它的十分之一大小，約為330M。
該功能可以在Windows 11 預覽版的“設置”菜單的查詢處找到，需要是搭載Snapdragon的Copilot+電腦，后續還將拓展到AMD和Intel?支持的PC。
溫馨提示，現在只支持使用英語對話～
在設置中啟用Agent
Mu是一種高效的330M編碼器-解碼器模型，針對小規模部署專門進行了優化。
模型基于Transformer架構搭建，意味著編碼器將會把輸入轉換為固定長度的潛在表達，然后解碼器生成輸出token。
通過將輸入token和輸出token分離，Mu的一次性編碼顯著降低了計算和內存需求，具有更低的延遲和更高的吞吐量。
與Phi-Silica一樣，Mu旨在NPU上高效運行，并通過微調模型架構和參數形狀完成NPU適應：
- 模型架構調整：選擇與NPU偏好的張量尺寸和向量化單元相匹配的層維度（如隱藏層大小和前饋網絡寬度），確保矩陣乘法等操作能以峰值效率運行。
- 參數形狀變化：對編碼器和解碼器之間的參數采用2/3–1/3的比例分配，例如一個配置中包含32個編碼器層與12個解碼器層，以確保最大化單位參數的性能表現。
為了減少總參數數量，Mu在某些組件中采取權重共享方法，節省內存空間，并提高編碼和解碼詞匯表的一致性。
另外，Mu將操作限制在僅運行支持的NPU優化算子，避免無效操作，充分利用NPU的加速能力。
Mu還添加了三個關鍵的transformer升級，分別是pre- and post-LN、RoPE和GQA。
- pre- and post-LN（雙層歸一化）：在每個子層前后進行標準化。
- RoPE（旋轉位置嵌入）：通過復值旋轉將相對位置嵌入注意力中。
- GQA（分組查詢注意力）：將查詢進行分組，每個組內共享一組鍵、值。
Mu在Azure機器學習上使用NVIDIA A100 GPU進行訓練，依次先在數千億高質量教育token上預訓練，再從Phi模型中蒸餾知識，并結合特定任務數據和LoRA微調。
最終實現Mu盡管只是幾億個參數的微小尺寸，只有Phi-3.5-mini的十分之一，但性能卻不相上下，能處理長輸入上下文和快速輸出。
此外為了在設備端高效運作，Mu運用了專為Copilot+PC上的NPU設計的模型量化技術PTQ，將模型權重和激活從浮點轉換為整數表示，主要是8位和16位。
微軟同時還與芯片合作商協作優化，包括調整數學運算符、與特定硬件的執行模式保持一致等，使其可以在邊緣設備上進行高效推理。
例如下面Mu利用維基百科在邊緣設備上運行問答任務。
在設置中還通過將訓練樣本擴展至3.6M，將50個設置增加到數百個，對Mu進行微調，實現了不到500毫秒的響應時間和精度要求。
另外該模型也更適合于多單詞查詢。對于短詞或部分詞的模糊輸入，“設置”應用將繼續在搜索框中顯示詞法和語義搜索結果。
Copilot+PC近期動作頻頻
Copilot+PC是微軟為下一波個人計算浪潮設計的野心之作，由NPU支持、AI驅動，旨在簡化重塑用戶工作流程，并相繼推出了多款AI工具。
例如Recall功能可以幫助用戶在幾秒鐘內回溯當前步驟，快速查找并返回應用程序、網站、圖像或文檔。
在AI驅動下，它也擁有更好的自然語言搜索功能，無論目標文檔或圖像是位于文件資源管理器還是設置中。
最近同時推出的Click to Do功能則可以幫助快捷保存文本或圖像，可以從圖像中復制文本到摘要文本，甚至從圖像中快速刪除對象或背景，在提高工作效率的同時也會繼續保持流程運行。
這下可以一邊利用Click to Do快速安排會議或者將識別的電子郵件在Microsoft Teams中發起聊天，一邊繼續工作，或者偷個懶，將屏幕上的表格信息直接發送給Microsoft Excel，工作效率蹭蹭暴漲。
另外Copilot+PC最近還專門為AI照片、畫圖等編輯工具引入新功能。
例如重新點亮照片的Photos relight，只需單擊選擇喜歡的內置燈光預設，就可以為照片添加創意效果。
單個光源也可以進行調節，用戶可以自行改變光線朝向焦點的方向和接近度，以及調整顏色偏好和效果強度。
微軟為Paint應用程序新增了貼紙生成器，一個簡單的文本prompt就可以創建自定義數字貼紙，還可以利用AI對畫布上的單個特定元素進行定位編輯。
屏幕截圖后，是不是總需要反復裁剪，才能滿足需要？
現在Copilot+PC推出了可以完美截圖的AI工具，自動捕捉屏幕內容區域，對齊視圖突出內容。
另外還有可以直接從圖像中提取和復制文本的文本提取器，從屏幕任何位置都能捕獲顏色RGB值的顏色選擇器……
可以說，微軟現在正對Copilot+PC進行大刀闊斧的改進，希望用戶的體驗可以更直觀、更易于訪問也更有用。
不過就像廣大網友們的共同呼聲，什么時候才能全windows用戶都能享受到哇。
那么你會為了這些新功能，買臺Copilot+PC嗎？
