小型語言模型（SLM）在效率、隱私和適應(yīng)性之間實現(xiàn)了卓越的平衡，使其成為各種應(yīng)用的理想選擇。

譯自GenAI Meets SLMs: A New Era for Edge Computing，作者 Pankaj Mendki。

讓我們想象一個場景：一家醫(yī)院的患者擁有自己的醫(yī)療記錄。醫(yī)院希望在其個人監(jiān)控設(shè)備上安裝支持 AI 的醫(yī)療保健助手，以便醫(yī)療保健專業(yè)人員可以監(jiān)控和分析數(shù)據(jù)，并提供實時反饋，以確保常規(guī)和緊急藥物治療，但該系統(tǒng)必須符合區(qū)域醫(yī)療法規(guī)。在這種情況下，邊緣計算方法對于準(zhǔn)確性和數(shù)據(jù)安全性是可靠的——并且可以在本地工作；不需要云。

現(xiàn)在，想象一下當(dāng)邊緣計算由GenAI提供支持時的可能性。這種融合不僅使解決方案更智能，而且使解決方案更具自主性，并為開發(fā)個性化的智能醫(yī)療保健開辟了新的可能性。但邊緣計算的影響不僅限于醫(yī)療保健領(lǐng)域。它還可以改變投資等行業(yè)，在這些行業(yè)中，實時數(shù)據(jù)處理對于交易決策至關(guān)重要，并加強網(wǎng)絡(luò)安全，以防止數(shù)據(jù)落入壞人之手。

如今，開發(fā)人員主要使用大型語言模型(LLM) 來開發(fā) GenAI 應(yīng)用程序，因為它們具有明顯的優(yōu)勢。但 LLM 的規(guī)模和復(fù)雜性使其對資源受限的邊緣設(shè)備提出了挑戰(zhàn)。SLM 接受針對特定案例的文獻(xiàn)訓(xùn)練，與 LLM 相比，它們可以更快、更高效地做出實時決策。

作為新興技術(shù)主管，我和我的團(tuán)隊已經(jīng)多次測試了 SLM。本文探討了在邊緣計算系統(tǒng)中使用 SLM 的一些挑戰(zhàn)和潛在策略。

用 SLM 替換 LLM 用于邊緣應(yīng)用

切換到 SLM 在醫(yī)療保健領(lǐng)域具有顯著優(yōu)勢，在該領(lǐng)域，個人設(shè)備的使用很普遍。由于性能限制，個人設(shè)備通常缺乏有效運行 LLM 所需的資源。由于 SLM 針對特定案例，因此它們提供了一個解決這些限制的理想解決方案。

使用模型蒸餾、參數(shù)剪枝和量化等技術(shù)可以輕松地將 LLM 轉(zhuǎn)換為 SLM。模型蒸餾涉及訓(xùn)練一個更小的模型來模擬更大的模型，從而保留原始模型的大部分性能。參數(shù)剪枝消除了模型中不必要的權(quán)重和連接，以簡化其架構(gòu)，而不會犧牲準(zhǔn)確性。量化通過降低權(quán)重數(shù)值表示的精度來壓縮模型，從而產(chǎn)生更小的占用空間和更快的推理時間。

現(xiàn)在，讓我們重新審視醫(yī)院的例子。不同組的患者可能需要持續(xù)監(jiān)測，并針對神經(jīng)內(nèi)科、腎臟內(nèi)科、心血管內(nèi)科、自身免疫性疾病、傳染病甚至事故相關(guān)的疾病和病癥采取立即行動。可以針對這些醫(yī)療狀況分別訓(xùn)練 SLM。他們可以實時分析這些患者的數(shù)據(jù)，并啟動所需的治療或提醒醫(yī)療保健專業(yè)人員及時采取行動。

根據(jù)開發(fā)人員的需求，他們可以從頭開始構(gòu)建 SLM，也可以使用預(yù)訓(xùn)練模型作為其項目的基礎(chǔ)工具，并加快開發(fā)過程。開放市場（例如 GitHub Models 和 Hugging Face）擁有預(yù)訓(xùn)練的 SLM。這些工具還有助于在邊緣更廣泛地采用生成式 AI。SLM 的上下文功能可以改變多個行業(yè)。在智慧城市中，SLM 可以構(gòu)建更好的支持邊緣的物聯(lián)網(wǎng)設(shè)備，以提供針對擁堵或道路封閉等情況量身定制的上下文相關(guān)方向。這種組合可以提高效率，最大限度地減少延誤，并改善整體城市交通體驗。

解決平臺多樣性和資源需求

邊緣設(shè)備之間的平臺異構(gòu)性可能會使部署 SLM 具有挑戰(zhàn)性。個人監(jiān)控設(shè)備可以在多個平臺上運行，例如 iOS 和 Android。但是，諸如 Open Neural Network Exchange (ONNX)、MediaPipe、WASI-NN、Rust 和 WebAssembly 之類的堆棧和框架可以幫助構(gòu)建一個邊緣應(yīng)用程序生態(tài)系統(tǒng)，以使用 SLM。它們支持各種硬件和操作系統(tǒng)，并確保跨平臺支持和資源優(yōu)化的應(yīng)用程序。

諸如開放神經(jīng)網(wǎng)絡(luò)交換 (ONNX) 運行時之類的框架提供了一個抽象層，簡化了跨多個平臺對 SLM 的支持，從而緩解了這個問題。開發(fā)人員可以使用 ONNX 工具包針對特定硬件目標(biāo)優(yōu)化模型，以確保無論底層設(shè)備架構(gòu)如何，都能實現(xiàn)高效的性能。MediaPipe 框架簡化了將 SLM 遷移到輕量級邊緣設(shè)備（包括移動平臺）的過程。其模塊化框架和高效的硬件加速器支持預(yù)優(yōu)化的跨平臺解決方案，并簡化了在資源受限環(huán)境中部署復(fù)雜的 AI 模型。

此外，WebAssembly 可以利用包括 GPU 在內(nèi)的底層硬件功能來優(yōu)化性能并加速推理任務(wù)。由于它將輕量級執(zhí)行與強大的計算資源相結(jié)合，因此非常適合 SLM 應(yīng)用程序。它還有助于可持續(xù)發(fā)展計劃，通過支持在功耗和發(fā)熱量較低的邊緣設(shè)備上開發(fā)強大的 AI 解決方案。WASI-NN 為 WebAssembly 提供機器學(xué)習(xí)推理 API。它支持利用 SLM 功能的 WebAssembly 多語言開發(fā)應(yīng)用程序。

Rust 編程語言堆棧進(jìn)一步增強了這個生態(tài)系統(tǒng)。與ML 環(huán)境中使用的 Python 堆棧不同，Rust 支持小至 30 MB 的應(yīng)用程序運行時，從而實現(xiàn)適用于資源受限邊緣環(huán)境的輕量級、高性能應(yīng)用程序。

通過增強的安全性在邊緣進(jìn)行協(xié)作學(xué)習(xí)

醫(yī)療保健和許多其他領(lǐng)域都在隱私敏感的環(huán)境中運作。然而，與邊緣應(yīng)用程序進(jìn)行受控的數(shù)據(jù)共享可以幫助建立知識庫，以使用 SLM 和其他醫(yī)療保健服務(wù)改進(jìn)治療程序。在這種情況下，聯(lián)邦學(xué)習(xí)等技術(shù)可以確保在多個設(shè)備上對 SLM 進(jìn)行訓(xùn)練和微調(diào)。使用聯(lián)邦學(xué)習(xí)，維護(hù)數(shù)據(jù)隱私和安全性更加簡單。這種方法有助于模型從本地化數(shù)據(jù)中學(xué)習(xí)，而無需共享敏感信息。

讓我們回到醫(yī)院的例子。醫(yī)院已決定加入與其他醫(yī)院的合作計劃，旨在建立一個更復(fù)雜的模型，以根據(jù)來自各種醫(yī)療記錄的見解來改善預(yù)測和護(hù)理結(jié)果。但有一個問題：醫(yī)院不能公開這些文件，因為法規(guī)指定患者為其數(shù)據(jù)的所有者。

這就是聯(lián)邦學(xué)習(xí)與 SLM 結(jié)合可以改變游戲規(guī)則的地方。每家醫(yī)院都可以使用其患者記錄來訓(xùn)練自己的 SLM。然后，它只能將學(xué)習(xí)到的參數(shù)上傳到共享數(shù)據(jù)庫，從而使所有貢獻(xiàn)者受益，同時保持隱私。然后，服務(wù)器根據(jù)收到的更新構(gòu)建全局模型，而無需訪問單個文件。

同樣的原則適用于所有涉及敏感數(shù)據(jù)的情況。例如，在客戶數(shù)據(jù)需要嚴(yán)格安全性的投資領(lǐng)域，來自投資模式共享參數(shù)的見解可以幫助銀行業(yè)開發(fā)更有效的計劃。聯(lián)邦學(xué)習(xí)促進(jìn)了貢獻(xiàn)者（無論是個人、設(shè)備還是組織）之間的協(xié)作。它通過提供數(shù)據(jù)而不損害數(shù)據(jù)隱私來改進(jìn)模型。該技術(shù)還確保符合隱私法規(guī)。

開發(fā)人員可以使用開源項目進(jìn)行聯(lián)邦學(xué)習(xí)，例如 Flower、Substra、NVFlare 等。這些框架實施數(shù)據(jù)安全，并通過差異隱私、同態(tài)加密和機密計算等技術(shù)確保隱私。

結(jié)論

小型語言模型 (SLM) 在效率、隱私和適應(yīng)性之間實現(xiàn)了出色的平衡，使其成為各種應(yīng)用的理想選擇。在醫(yī)療保健領(lǐng)域，快速的設(shè)備上癥狀診斷也可能成為遠(yuǎn)程醫(yī)療（一個新興的醫(yī)療保健子領(lǐng)域）的差異化因素。

工業(yè)物聯(lián)網(wǎng)、國防和金融科技等行業(yè)可以利用 SLM 進(jìn)行實時分析、增強安全性和定制解決方案。這些行業(yè)可以進(jìn)一步受益于其對多語言和多模式輸入的適應(yīng)性。例如，金融科技行業(yè)可以使用 SLM 進(jìn)行多語言客戶支持和用于各種數(shù)據(jù)集的本地化模型。由于 SLM 在本地部署，因此它們更安全且更易于解釋，這在監(jiān)管合規(guī)性是優(yōu)先事項的領(lǐng)域提供了透明度。