今天，谷歌有點(diǎn)忙。

一方面，他們與耶魯大學(xué)合作基于 Gemma 研發(fā)的 Cell2Sentence-Scale 27B (C2S-Scale) 首次預(yù)測了一種新的潛在癌癥療法，引發(fā)世界廣泛關(guān)注。另一方面，他們又更新上線了 Veo 3.1，為用戶帶來了大幅提升的視頻生成能力。

再一方面，他們又推出了 Coral NPU，可用于構(gòu)建在低功率設(shè)備上持續(xù)運(yùn)行的 AI。具體來說，其可在可穿戴設(shè)備上運(yùn)行小型 Transformer 模型和 LLM，并可通過 IREE 和 TFLM 編譯器支持 TensorFlow、JAX 和 PyTorch。

和前兩個新聞一樣，這也同樣引起了開發(fā)者的廣泛熱議。

Coral NPU：一個為邊緣設(shè)備打造的全棧開源 AI 平臺

谷歌給 Coral NPU 的定位是「一個全棧、開源的平臺，旨在解決性能、碎片化和隱私這三大核心挑戰(zhàn)，而這些挑戰(zhàn)限制了功能強(qiáng)大、始終在線的 AI 技術(shù)在低功耗邊緣設(shè)備和可穿戴設(shè)備上的應(yīng)用。」

也就是說，使用 Coral NPU，未來我們有望打造出能在智能手表等設(shè)備上本地持續(xù)運(yùn)行的好用 AI，讓智能直接嵌入到用戶的個人環(huán)境中。

然而，要做到這一點(diǎn)卻并非易事。谷歌總結(jié)了三大方面的挑戰(zhàn)：

• 性能差距：復(fù)雜且先進(jìn)的機(jī)器學(xué)習(xí)模型需要更多的計算資源，這遠(yuǎn)超邊緣設(shè)備有限的功率、散熱和內(nèi)存預(yù)算。
• 碎片化成本：為多樣化的專有處理器編譯和優(yōu)化機(jī)器學(xué)習(xí)模型既困難又昂貴，這阻礙了跨設(shè)備實(shí)現(xiàn)一致的性能。
• 用戶信任缺失：要想真正發(fā)揮作用，個人 AI 必須優(yōu)先保障個人數(shù)據(jù)和情境的隱私與安全。

而谷歌今天推出的 Coral NPU 基于其最初的 Coral 項(xiàng)目，「可為硬件設(shè)計者和機(jī)器學(xué)習(xí)開發(fā)者提供了構(gòu)建下一代私密、高效邊緣 AI 設(shè)備所需的工具。」

具體來說，Coral NPU 是與 Google Research 和 Google DeepMind 合作設(shè)計的成果，乃是一個 AI 優(yōu)先的硬件架構(gòu)，可用于支持下一代超低功耗、始終在線的邊緣 AI。

它提供了統(tǒng)一的開發(fā)者體驗(yàn)，使部署環(huán)境感知等應(yīng)用變得更加容易。它專為在可穿戴設(shè)備上實(shí)現(xiàn)全天候 AI 而設(shè)計，同時能最大限度地減少電池消耗，并且可通過適當(dāng)配置來適應(yīng)更高性能的應(yīng)用場景。

谷歌已經(jīng)發(fā)布了相關(guān)文檔和工具，以便開發(fā)者和設(shè)計者可以立即開始構(gòu)建。

• 項(xiàng)目主頁：https://developers.google.com/coral
• 代碼庫：https://github.com/google-coral/coralnpu

技術(shù)細(xì)節(jié)

顧名思義，Coral NPU 采用了 NPU（神經(jīng)處理單元 /neural processing unit）架構(gòu)，其為下一代高能效、針對機(jī)器學(xué)習(xí)優(yōu)化的片上系統(tǒng) (SoC) 提供了構(gòu)建模塊。

該架構(gòu)基于一套符合 RISC-V 指令集架構(gòu) (RISC-V ISA) 的 IP 模塊，專為最低功耗而設(shè)計，使其成為始終在線的環(huán)境感知的理想選擇。

其基礎(chǔ)設(shè)計可在僅消耗幾毫瓦功率的情況下，提供 512 GOPS (每秒十億次操作) 級別的性能，從而可為邊緣設(shè)備、耳戴式設(shè)備、AR 眼鏡和智能手表帶來強(qiáng)大的端側(cè) AI 能力。

Coral NPU 生態(tài)系統(tǒng)統(tǒng)一視圖，展示了為 SoC 設(shè)計者和機(jī)器學(xué)習(xí)開發(fā)者提供的端到端技術(shù)棧。

這種基于 RISC-V 的開放且可擴(kuò)展的架構(gòu)為 SoC 設(shè)計者提供了靈活性，讓他們可以修改基礎(chǔ)設(shè)計，或?qū)⑵溆米饕粋€預(yù)配置的 NPU。

Coral NPU 架構(gòu)包含以下組件：

• 一個標(biāo)量核心（scalar core）： 一個輕量級、可用 C 語言編程的 RISC-V 前端，負(fù)責(zé)管理流向后端核心的數(shù)據(jù)流。它采用簡單的「運(yùn)行到完成」 (run-to-completion) 模型，以實(shí)現(xiàn)超低功耗和傳統(tǒng)的 CPU 功能。
• 一個向量執(zhí)行單元（vector execution unit）： 一個強(qiáng)大的單指令多數(shù)據(jù) (SIMD) 協(xié)處理器，符合 RISC-V 向量指令集 (RVV) v1.0 規(guī)范，能夠?qū)Υ笮蛿?shù)據(jù)集進(jìn)行同步操作。
• 一個矩陣執(zhí)行單元（matrix execution unit）： 一個高效的量化外積乘積累加 (MAC) 引擎，專為加速神經(jīng)網(wǎng)絡(luò)的基本運(yùn)算而構(gòu)建。請注意，該矩陣執(zhí)行單元仍在開發(fā)中，將于今年晚些時候在 GitHub 上發(fā)布。

從傳統(tǒng)設(shè)計到 Coral NPU 的架構(gòu)轉(zhuǎn)變示意圖。

統(tǒng)一的開發(fā)者體驗(yàn)

Coral NPU 架構(gòu)是一個簡單的、可用 C 語言編程的目標(biāo)平臺，可以與 IREE 和 TFLM 等現(xiàn)代編譯器無縫集成。這使得它能夠輕松支持 TensorFlow、JAX 和 PyTorch 等機(jī)器學(xué)習(xí)框架。

Coral NPU 包含一個全面的軟件工具鏈，其中包括針對 TensorFlow 的 TFLM 編譯器等專用解決方案，以及一個通用的 MLIR 編譯器、C 編譯器、自定義內(nèi)核和一個模擬器。這可為開發(fā)者提供了靈活的路徑。

例如，一個來自 JAX 等框架的模型首先會使用 StableHLO 方言 (dialect) 導(dǎo)入為 MLIR 格式。這個中間文件隨后被送入 IREE 編譯器，該編譯器會應(yīng)用一個硬件特定的插件來識別 Coral NPU 的架構(gòu)。之后，編譯器會執(zhí)行漸進(jìn)式降低 (progressive lowering)—— 這是一個關(guān)鍵的優(yōu)化步驟，在此過程中代碼會通過一系列方言被系統(tǒng)地翻譯，逐步接近機(jī)器的本地語言。優(yōu)化后，工具鏈會生成一個最終的、緊湊的二進(jìn)制文件，以便在邊緣設(shè)備上高效執(zhí)行。

下表展示了 Coral NPU 的軟件開發(fā)優(yōu)勢：

這套行業(yè)標(biāo)準(zhǔn)的開發(fā)者工具有助于簡化機(jī)器學(xué)習(xí)模型的編程，并能在各種硬件目標(biāo)上提供一致的體驗(yàn)。

Coral NPU 編譯器工具鏈，展示了從機(jī)器學(xué)習(xí)模型創(chuàng)建、優(yōu)化、編譯到設(shè)備端部署的完整流程。

Coral NPU 的協(xié)同設(shè)計過程聚焦于兩個關(guān)鍵領(lǐng)域。

• 首先，該架構(gòu)能高效加速當(dāng)今設(shè)備端視覺和音頻應(yīng)用中領(lǐng)先的、基于編碼器的架構(gòu)。
• 其次，谷歌正與 Gemma 團(tuán)隊緊密合作，針對小型 Transformer 模型優(yōu)化 Coral NPU，以確保該加速器架構(gòu)能夠支持下一代邊緣生成式 AI。

這種雙重關(guān)注意味著 Coral NPU 有望成為首個開放、基于標(biāo)準(zhǔn)、專為將大語言模型 (LLM) 引入可穿戴設(shè)備而設(shè)計的低功耗 NPU。

對于開發(fā)者而言，這可提供一條單一且經(jīng)過驗(yàn)證的路徑，可以用最低的功耗和最高的性能來部署當(dāng)前和未來的模型。

目標(biāo)應(yīng)用

Coral NPU 旨在支持超低功耗、始終在線的邊緣 AI 應(yīng)用，尤其側(cè)重于環(huán)境感知系統(tǒng)。其主要目標(biāo)是在可穿戴設(shè)備、手機(jī)和物聯(lián)網(wǎng) (IoT) 設(shè)備上實(shí)現(xiàn)全天候的 AI 體驗(yàn)，同時最大限度地減少電池消耗。

潛在用例包括：

• 情境感知：檢測用戶活動（如步行、跑步）、距離或環(huán)境（如室內(nèi) / 室外、移動中），以啟用「免打擾」模式或其他情境感知功能。
• 音頻處理：語音和聲音檢測、關(guān)鍵詞識別、實(shí)時翻譯、轉(zhuǎn)錄以及基于音頻的無障礙功能。
• 圖像處理：人物和物體檢測、面部識別、手勢識別以及低功耗視覺搜索。
• 用戶交互： 通過手勢、音頻提示或其他傳感器驅(qū)動的輸入進(jìn)行設(shè)備控制。

硬件強(qiáng)制的隱私保護(hù)

Coral NPU 的一個核心原則是通過硬件強(qiáng)制的安全性來建立用戶信任。

谷歌表示：「我們的架構(gòu)正在被設(shè)計用來支持 CHERI 等新興技術(shù)，該技術(shù)提供細(xì)粒度的內(nèi)存級安全和可擴(kuò)展的軟件分區(qū)。我們希望通過這種方法，將敏感的 AI 模型和個人數(shù)據(jù)隔離在硬件強(qiáng)制的沙箱中，以抵御基于內(nèi)存的攻擊。」

構(gòu)建生態(tài)系統(tǒng)

開源硬件項(xiàng)目的成功依賴于強(qiáng)大的合作伙伴關(guān)系。

為此，谷歌宣布了與 Synaptics 的合作關(guān)系，這也是其「第一個戰(zhàn)略芯片合作伙伴」，同時也是物聯(lián)網(wǎng)領(lǐng)域嵌入式計算、無線連接和多模態(tài)傳感的領(lǐng)導(dǎo)者。

今天，Synaptics 在其技術(shù)日活動上宣布了其新的 Astra SL2610 系列 AI 原生物聯(lián)網(wǎng)處理器。該產(chǎn)品線采用了他們的 Torq NPU 子系統(tǒng)，這是業(yè)界首個 Coral NPU 架構(gòu)的量產(chǎn)實(shí)現(xiàn)。該 NPU 的設(shè)計支持 Transformer 并支持動態(tài)算子，使開發(fā)者能夠?yàn)橄M(fèi)和工業(yè)物聯(lián)網(wǎng)構(gòu)建面向未來的邊緣 AI 系統(tǒng)。

Astra SL2610，來自 X 用戶 @TekStrategist

結(jié)語

谷歌表示 Coral NPU 有望「解決邊緣計算的核心危機(jī)」：「借助 Coral NPU，我們正在為個人 AI 的未來構(gòu)建一個基礎(chǔ)層。我們的目標(biāo)是通過提供一個通用的、開源的、安全的平臺供業(yè)界在此基礎(chǔ)上發(fā)展，從而催生出一個充滿活力的生態(tài)系統(tǒng)。」

對此，你怎么看？有興趣嘗試基于這個平臺進(jìn)行開發(fā)嗎？