在 2023 年 PyTorch 大會上，一個深受大家關心的推理問題得到了很好的解決，會上宣布了一個用于在邊緣和移動設備上實現 AI 推理的解決方案：ExecuTorch，并且還是開源的，而促成這一研究的，正是 Meta AI 與 PyTorch 基金會。

ExecuTorch 地址：https://github.com/pytorch/executorch

學習文檔：https://pytorch.org/executorch/stable/index.html

隨著 ExecuTorch 的開源，預示著 AI 應用程序在設備上本地運行、而需連接到服務器或云成為可能。我們可以將 ExecuTorch 理解成一個 PyTorch 平臺，其能提供基礎設施來運行 PyTorch 程序，從 AR/VR 可穿戴設備到標準的 iOS 和 Android 設備的移動部署。

ExecuTorch 最大優勢是可移植性，能夠在移動和嵌入式設備上運行。不僅如此，ExecuTorch 還可以提高開發人員的工作效率。

據了解，Meta 已經驗證了這項技術，并將其用于最新一代的雷朋智能眼鏡，而這款眼鏡也是 Meta 最近發布的 Quest 3 VR 頭顯的一部分。Meta 表示，作為開源 PyTorch 項目的一部分，他們旨在進一步推動該技術的研究，從而邁入在設備上實現 AI 推理的新時代。

Facebook 創始人、Meta 董事長兼首席執行官扎克伯格表示：「作為開源 AI 工作的一部分，我們與 PyTorch 基金會及其行業合作伙伴一起開源了 ExecuTorch。這一變化預示著將 PyTorch 引入了手機和可穿戴設備等邊緣計算平臺。ExecuTorch 使 AI 模型能夠直接在設備上運行，而無需連接到服務器。」

Meta 軟件工程師 Mergen Nachin 指出，「今天的 AI 模型正在從服務器擴展到邊緣設備，如移動設備、AR、VR 和 AR 頭顯、可穿戴設備、嵌入式系統等。ExecuTorch 通過提供端到端的工作流來優化本地程序，從而解決邊緣設備遇到的挑戰。」

ExecuTorch 關鍵組件

ExecuTorch 提供了緊湊的運行時和輕量級操作注冊表，以覆蓋 PyTorch 模型生態系統，以及在邊緣設備上執行 PyTorch 程序的簡化路徑。此外，ExecuTorch 還附帶 SDK 和工具鏈，為 ML 開發人員提供了更好的用戶體驗。

作為 PyTorch Edge 生態系統的一部分，ExecuTorch 可以有效地將 PyTorch 模型部署到邊緣設備。ExecuTorch 的優點包括：

• 可移植性：與各種計算平臺兼容，從高端移動手機到高度受限的嵌入式系統和微控制器。
• 提高生產力：開發人員能夠使用相同的工具鏈和 SDK，從而提高生產力。
• 提高性能：由于輕量級運行時和充分利用 CPU、NPU 和 DSP 等硬件功能，為最終用戶提供了無縫和高性能的體驗。

由于 ExecuTorch 嚴重依賴 PyTorch 相關知識，因而，想要熟練掌握 ExecuTorch，還需提前補充相關知識。官方文檔已經提供了入門級教程。例如，在構建 ExecuTorch Android 演示應用程序示例當中，大家可以跟隨指導教程，從而熟悉如何使用 ExecuTorch。

最后，需要提醒大家的一點是，本次發布的 ExecuTorch 是一個預覽版本，在測試和評估中可以使用，但是不建議在生產環境中使用。PyTorch 團隊歡迎來自社區的任何反饋、建議和錯誤報告，以幫助他們改進技術。