本周四，谷歌正式發(fā)布了 Gemma 3 的最新一款模型。

Gemma 3 270M 是一款緊湊型、擁有 2.7 億個參數(shù)的小體量語言模型，專為特定任務(wù)的微調(diào)而設(shè)計(jì)，具備強(qiáng)大的指令跟蹤和文本結(jié)構(gòu)化能力。

它繼承了 Gemma 3 系列的先進(jìn)架構(gòu)和強(qiáng)大的預(yù)訓(xùn)練功能，同時為小尺寸模型帶來了強(qiáng)大的指令執(zhí)行能力。谷歌展示的 IFEval 基準(zhǔn)測試成績所示，在同級模型上，Gemma 3 270M 樹立了新的性能水平，使復(fù)雜的 AI 功能更容易應(yīng)用于設(shè)備端和研究應(yīng)用。

IFEval 旨在測試模型執(zhí)行可驗(yàn)證指令的能力。

Gemma 3 270M 的核心功能主要包括如下幾個方面：

• 緊湊而強(qiáng)大的架構(gòu)：新模型共有 2.7 億參數(shù)：由于詞匯量龐大，嵌入?yún)?shù)有 1.7 億個，Transformer 模塊則有 1 億個。得益于 256k 個 token 的龐大詞匯量，該模型可以處理特定和罕見的 token，使其成為強(qiáng)大的基礎(chǔ)模型，可以在特定領(lǐng)域和語言中進(jìn)一步進(jìn)行微調(diào)。
• 極致節(jié)能：Gemma 3 270M 的一個關(guān)鍵優(yōu)勢是其低功耗。在 Pixel 9 Pro 手機(jī) SoC 上進(jìn)行的內(nèi)部測試表明，INT4 量化模型在 25 次對話中僅消耗 0.75% 的電量，使其成為最節(jié)能的 Gemma 模型。
• 指令遵循：谷歌發(fā)布了一個指令調(diào)整模型，并附帶預(yù)訓(xùn)練的檢查點(diǎn)。雖然該模型并非為復(fù)雜的對話用例而設(shè)計(jì)，但它是一個強(qiáng)大的模型，可以開箱即用地遵循通用指令。
• 可用于生產(chǎn)的量化：量化感知訓(xùn)練 (QAT) 檢查點(diǎn)可用，使人們能夠以 INT4 精度運(yùn)行模型，同時最大程度地減少性能下降，這對于在資源受限的設(shè)備上部署至關(guān)重要。

對于 1.7 億個嵌入?yún)?shù)，如何在訓(xùn)練過程中保證不出現(xiàn)嵌入崩潰，谷歌并沒有對技術(shù)細(xì)節(jié)進(jìn)行太多解釋。不過在谷歌發(fā)布后，AI 社區(qū)很快開始了研究。

Sebastian Raschka 第一時間進(jìn)行了簡單的解讀，他注意到了新模型的一些架構(gòu)特點(diǎn)。

谷歌表示，Gemma 3 270M 是一款高質(zhì)量的基礎(chǔ)模型，開箱即用，適用于專業(yè)化的任務(wù)。在實(shí)踐中，人們應(yīng)從緊湊而強(qiáng)大的模型入手，進(jìn)而構(gòu)建出精簡、快速且運(yùn)營成本較低的生產(chǎn)系統(tǒng)。

這種思路已在現(xiàn)實(shí)世界中取得了很好的成果。谷歌舉了 Adaptive ML 與 SK Telecom 合作的成果的例子。面對細(xì)致入微的多語言內(nèi)容審核挑戰(zhàn)，他們選擇了專業(yè)化。Adaptive ML 沒有使用大規(guī)模通用模型，而是對 Gemma 3 4B 模型進(jìn)行了微調(diào)。從結(jié)果上看，專業(yè)化的 Gemma 模型達(dá)到甚至超越了更大型專有模型在其特定任務(wù)上的表現(xiàn)。

Gemma 3 270M 旨在讓開發(fā)者更進(jìn)一步利用這種方法，為定義明確的任務(wù)釋放更高的效率。它是創(chuàng)建一系列小型專業(yè)模型的理想起點(diǎn)，每個模型都是各自任務(wù)的專家。

這種專業(yè)化的力量不僅適用于企業(yè)任務(wù)，還能幫助個人開發(fā)者構(gòu)建創(chuàng)意應(yīng)用程序。例如，Hugging Face 團(tuán)隊(duì)的成員使用 Gemma 3 270M 為一款使用 Transformers.js 的睡前故事生成器網(wǎng)頁應(yīng)用提供支持。可知，該模型的體量和性能使其非常適合離線、基于網(wǎng)頁的創(chuàng)意任務(wù)。

谷歌表示，Gemma 3 270M 適用于以下場景：

• 有一個高容量且定義明確的任務(wù)。該模型非常適合情緒分析、實(shí)體提取、查詢路由、非結(jié)構(gòu)化到結(jié)構(gòu)化文本處理、創(chuàng)意寫作和合規(guī)性檢查等功能。
• 需要精打細(xì)算，時延要求高的任務(wù)。它可以大幅降低甚至消除生產(chǎn)中的推理成本，并更快地為用戶提供響應(yīng)。經(jīng)過微調(diào)的 270M 模型可以在輕量級的基礎(chǔ)架構(gòu)上運(yùn)行，也可以直接在設(shè)備上運(yùn)行。
• 需要快速迭代和部署的工作。Gemma 3 270M 的小巧體積使其能夠快速進(jìn)行微調(diào)實(shí)驗(yàn)，幫助你在數(shù)小時內(nèi)（而不是數(shù)天）找到適合您用例的完美配置。
• 需要確保用戶隱私的任務(wù)。由于該模型可以完全在設(shè)備上運(yùn)行，你可以構(gòu)建處理敏感信息的應(yīng)用程序，而無需將數(shù)據(jù)發(fā)送到云端。
• 你需要一批專門的任務(wù)模型。構(gòu)建并部署多個自定義模型，每個模型都經(jīng)過專業(yè)訓(xùn)練，能夠完成不同的任務(wù)，而且不會超出預(yù)算。
• 在新模型上，谷歌提供了快速入門的方案和工具。你可以在 Gemma 文檔中找到使用 Gemma 3 270M 進(jìn)行完整微調(diào)的指南：https://ai.google.dev/gemma/docs/core/huggingface_text_full_finetune
• 谷歌同時發(fā)布了 Gemma 3 270M 的預(yù)訓(xùn)練模型和指令調(diào)優(yōu)模型：https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d
• 你可以在 Vertex AI 上試用模型，或使用 llama.cpp、Gemma.cpp、LiteRT、Keras 和 MLX 等熱門推理工具進(jìn)行試用：https://console.cloud.google.com/vertex-ai/publishers/google/model-garden/gemma3

現(xiàn)在，你也可以在 Colab 上嘗試自行嘗試微調(diào)，只需不到 5 分鐘即可完成。

過去幾個月，谷歌的 Gemma 開放模型系列經(jīng)歷了一系列發(fā)布。在 4 月到 5 月，谷歌推出了 Gemma 3 和 Gemma 3 QAT，為單云和桌面級 GPU 提供了不錯的 AI 性能。隨后在 6 月 25 日，面向移動端的 Gemma 3n 正式發(fā)布，為手機(jī)等設(shè)備引入了強(qiáng)大的實(shí)時多模態(tài) AI 能力。

谷歌表示，截止上周，Gemma 系列的累積下載量已經(jīng)突破了兩億次。