譯者 | 晶顏

審校 | 重樓

機器學習（ML）在諸如欺詐檢測和個性化推薦等實時應用中變得越來越重要。由于其可擴展性以及消除了基礎設施管理的工作量，這些應用對于在無服務器計算中部署極具吸引力。

然而，將機器學習模型部署到無服務器環境中面臨著延遲、成本和性能方面的獨特挑戰。在本文中，我們將詳細闡述這些問題，并提供相應的解決方案，以實現實時機器學習模型在無服務器架構中的成功部署。

無服務器環境中部署實時機器學習的挑戰

無服務器計算（如AWS Lambda、谷歌云函數、Azure Functions）使開發者能夠構建應用程序而無需管理服務器。憑借靈活的擴展性和成本優勢，這些平臺非常適用于流量特征多變的場景。實時機器學習模型需在低延遲推理、成本控制與資源最優使用之間進行審慎權衡。

無服務器框架最大的優勢在于其可擴展性，但這也帶來了冷啟動不可預測、資源受限以及成本超支等問題。對于實時機器學習而言，時間與成本都至關重要，因此應對這些挑戰意義重大。

1.冷啟動：對延遲的影響

在無服務器計算中，冷啟動（Cold Starts）是一個重大挑戰。當無服務器函數環境近期未被調用時，平臺需對其進行初始化，這會引入延遲。冷啟動時間取決于大型模型或依賴項的加載難度，是機器學習模型初始化所需的最快速度。在低延遲要求的實時應用環境中，這可能會造成問題。

例如，AWS Lambda在大型模型預熱時可能增加多達10秒的延遲，這對欺詐檢測等實時系統可能會造成嚴重影響，因為此類系統對每毫秒都極為敏感。

AWS Lambda的預置并發功能可保持固定數量的函數實例處于活躍狀態，從而減輕冷啟動影響，顯著縮短冷啟動時間。但這又會增加成本，開發者需要在延遲與額外成本間進行權衡。

2. 管理成本：資源的有效利用

無服務器函數按使用次數計費，對于流量模式不穩定的應用程序來說非常有益。但執行計算密集型機器學習模型（尤其是深度學習模型）會導致成本快速上升。在實時應用中，每次模型調用都使用系統資源，大量使用時會增加運營成本。

深度學習模型在處理涌入其中的每個請求時都需要強大的CPU和內存支持。鑒于成本較高，企業必須高度重視優化在無服務器功能上運行的模型。

模型優化是降低運營成本的基本方法。通過采用量化技術和蒸餾方法精簡模型，可以減小模型規模并保持準確性，使模型的推理過程能夠更快、更經濟地完成。

批處理過程允許管理員將多個請求合并為一次執行，從而減少無服務器函數的調用次數。這一方式優化了處理過程，因為一次函數調用可處理多個請求，從而降低了運營成本與管理開銷。

3. 性能：資源限制與可擴展性

無服務器函數采用的是無狀態處理方式，而機器學習模型則需要有狀態的執行環境以及充足資源以有效運行。在無服務器平臺上進行實時機器學習時，必須分配足夠的資源來處理推理工作負載，以避免延遲和超時情況發生。

部署到未定義計算環境中的大型模型的性能可能會受到限制。由于深度學習推理通常需要GPU支持，但大多數無服務器平臺不允許直接訪問GPU。甚至，大多數平臺都禁止直接訪問GPU。

在無服務器環境中部署的機器學習模型必須經過精簡與優化。可部署MobileNet等模型，企業借此能在保持頂級準確性的同時節省內存空間、加快處理速度。盡管存在資源可用性的限制，但由于這些模型針對移動和邊緣設備進行了優化，因此它們是適用于無服務器操作的最理想模型。

并發進程管理是開發過程的重要方面。在無服務器環境中，如果函數調用活動出現意外激增，就可能會出現資源競爭問題，而無服務器環境的自動擴展功能可能引發此類情況。開發者通過獲取足夠的運行執行實例并進行適當的配置修改，能夠確保在高需求情況下功能的平穩運行。

無服務器架構中實時機器學習部署的最佳實踐

在無服務器環境中部署實時機器學習模型需要考慮多種因素，而要實現成功部署，需遵循以下最佳實踐：

• 降低模型復雜度：對機器學習模型進行剪枝、量化和精簡，以優化性能。通過使用MobileNet、TinyBERT等更輕量級的模型，可以有效地處理實時推理任務并保持良好準確性。
• 降低冷啟動延遲：通過預熱函數或使用預設的并發機制來最小化冷啟動延遲。同時，可考慮采用容器化等替代方案，以減少初始化開銷。
• 通過批量處理實現成本效率：不針對每個請求單獨調用無服務器函數，而是集中處理所有請求，這樣可以減少調用次數，從而降低總成本。
• 監控和管理共享資源：監控和控制無服務器函數的并發性，以確保無服務器函數不會中斷或超時，并且輸出質量不會下降。
• 低延遲應用：使用邊緣設備來卸載推理任務，以便在云依賴的情況下實現更緊密的計算和可擴展性。

結語

無服務器架構通過抽象底層基礎設施管理，為開發人員提供了在大規模場景下部署機器學習模型的高效工具，極大簡化了模型從訓練到生產的落地流程。然而，在實時機器學習模型部署中，該架構仍面臨特殊挑戰：需在滿足嚴格延遲要求的前提下，平衡性能表現與實際成本效益，例如冷啟動導致的延遲波動、資源受限引發的性能瓶頸等。

對此，開發人員可通過整合多元優化策略實現突破：采用模型量化、蒸餾等技術精簡模型體量，降低計算開銷；通過預置并發、函數預熱等手段優化冷啟動管理，減少延遲波動；結合動態資源調度與并發控制機制，提升資源利用效率；輔以邊緣計算卸載輕量任務，強化低延遲場景適配。通過上述策略的協同應用，能夠在無服務器環境中構建兼具高效性、穩定性與經濟性的實時機器學習系統，充分釋放無服務器架構在規模化部署中的潛力，為欺詐檢測、實時推薦等關鍵領域提供可靠的技術支撐。

原文標題：Deploying Real-Time Machine Learning Models in Serverless Architectures: Balancing Latency, Cost, and Performance，作者：Kamalesh Jain