上周，微軟宣布推出一款名為“Mu”的新型生成式人工智能（GenAI）系統(tǒng)，它讓我們得以一窺未來我們使用各種設(shè)備（從個人電腦到烤面包機）的方式。

借助“Mu”，用戶能夠通過日常語言來操控電腦。例如，你可以鍵入或說出“打開暗黑模式”或“讓我的鼠標指針變大”等指令，電腦便會照做。

目前，“Mu”首次出現(xiàn)在Windows 11設(shè)置應(yīng)用程序中。你只需說出或鍵入你想要更改的具體設(shè)置，這款生成式人工智能工具就能理解你的意圖并為你完成更改。

本地而非云端

更重要的是，這并非運行在云端的大型語言模型（LLM）——“Mu”是一款小型語言模型（SLM），擁有相對較少的3.3億參數(shù)，專為在一種名為神經(jīng)處理單元（NPU）的專用人工智能芯片上運行而設(shè)計。

這種NPU芯片搭載于微軟、戴爾、惠普、聯(lián)想、三星和宏碁推出的最新款Copilot+個人電腦中。這些新款電腦自2024年6月開始發(fā)貨，是唯一能夠使用“Mu”以及Windows 11中其他先進人工智能功能的電腦。

總而言之，它并非基于LLM的云端聊天機器人，而是一款完全在個人電腦上運行、甚至在斷開互聯(lián)網(wǎng)連接時也能運行的小型語言模型。

由于Copilot+個人電腦配備了能夠每秒處理至少40萬億次運算的NPU，因此能夠運行“Mu”。微軟與高通、AMD和英特爾展開合作，確保“Mu”能夠在這些公司的NPU上順暢運行，而如今，NPU已成為所有Copilot+個人電腦的標準配置。

“Mu”采用一種名為“變換器編碼器-解碼器”的設(shè)計，這意味著它將工作分為兩部分。編碼器將你的語言轉(zhuǎn)化為一種壓縮形式，而解碼器則將這種形式轉(zhuǎn)化為正確的指令或答案。

與舊模型相比，這種設(shè)計在執(zhí)行諸如更改設(shè)置等任務(wù)時更為高效。“Mu”擁有32層編碼器和12層解碼器，之所以選擇這種配置，是為了契合NPU的內(nèi)存和速度限制。該模型利用旋轉(zhuǎn)位置嵌入來保持詞序，采用雙層歸一化來保持穩(wěn)定性，并運用分組查詢注意力機制來更高效地利用內(nèi)存。這些技術(shù)選擇使得“Mu”能夠每秒處理超過100個標記，并且在不到500毫秒的時間內(nèi)做出響應(yīng)。

與基于LLM的聊天機器人（如OpenAI的ChatGPT）相比，“Mu”的速度極快。

微軟在360萬個專注于Windows設(shè)置及相關(guān)任務(wù)的示例上對“Mu”進行了訓練。訓練在Azure平臺上進行，借助了NVIDIA A100圖形處理單元（GPU）。訓練完成后，微軟對“Mu”進行了微調(diào)，并運用量化技術(shù)縮減其內(nèi)存需求，以便其能夠在三家芯片制造商的NPU上良好運行。因此，“Mu”的體積約為微軟Phi-3.5-mini模型的十分之一，但在其設(shè)計用于執(zhí)行的任務(wù)上，性能幾乎同樣出色。

小模型而非大模型

“Mu”真正具有開創(chuàng)性，因為它是首款專為讓用戶通過自然語言控制系統(tǒng)設(shè)置而設(shè)計的小型語言模型，且完全在主流出貨設(shè)備上運行。

蘋果公司的iPhone、iPad和Mac都配備了神經(jīng)引擎NPU，并運行用于Siri和蘋果智能功能的設(shè)備端人工智能。然而，蘋果公司并沒有像“Mu”那樣深度集成于系統(tǒng)設(shè)置的小型語言模型。Siri和蘋果智能功能能夠更改一些設(shè)置，但其范圍和靈活性無法與“Mu”相提并論。

三星的Galaxy S25以及其他近期推出的旗艦手機配備了定制的NPU和Galaxy人工智能，能夠執(zhí)行各種設(shè)備控制和個人助理任務(wù)。然而，它們同樣缺乏用于全面系統(tǒng)設(shè)置控制的小型語言模型。

谷歌的Chromebook Plus設(shè)備配備了NPU，并支持設(shè)備端人工智能，但并未像“Mu”那樣使用小型語言模型來用于系統(tǒng)設(shè)置。

由于“Mu”直接在設(shè)備上處理數(shù)據(jù)，因此能夠確保個人信息的隱私性，并且能夠即時做出響應(yīng)。這種轉(zhuǎn)變也使得遵守歐洲和美國等地的隱私法規(guī)變得更加容易，因為數(shù)據(jù)不會離開你的電腦。

整個行業(yè)正朝著這一方向發(fā)展，原因顯而易見。如今的小型語言模型已經(jīng)足夠強大，能夠像大型云端模型一樣出色地處理特定任務(wù)。它們的運行成本更低，能耗更少，并且可以根據(jù)特定的工作或語言進行定制。

值得注意的是，NPU并不罕見。目前，它們已經(jīng)出現(xiàn)在新款手機、平板電腦甚至家用電器中。這些芯片旨在高效且低功耗地運行神經(jīng)網(wǎng)絡(luò)，使得在沒有可靠互聯(lián)網(wǎng)連接的情況下，也能在任何地方提供智能功能。

最重要的是，運行在NPU上的小型語言模型對于個人電腦、手機和平板電腦而言意義重大，甚至對于一切設(shè)備都是如此。隨著其性能和能力的提升以及成本的降低，我們可以預(yù)見，汽車儀表盤、恒溫器、洗衣機、拖拉機乃至一切設(shè)備（包括烤面包機）都將摒棄嵌套菜單式的用戶控制方式，轉(zhuǎn)而采用語音控制設(shè)置。

你將走進廚房，告訴烤面包機在大約20分鐘后將你的貝果烤得稍微焦一點，然后告訴咖啡機為你制作一杯拿鐵。早餐過后，你將走進家庭辦公室，通過與專門用于每種設(shè)備的小型語言模型交談，遠程控制各種物聯(lián)網(wǎng)設(shè)備和其他物品。

不過請注意，這些用于設(shè)備控制的小型語言模型還將直接與大型語言模型配合使用，以獲取信息并執(zhí)行其他操作，比如編寫代碼、構(gòu)建網(wǎng)站和應(yīng)用程序以及促進你所有的商務(wù)溝通。