出品 | 51CTO技術棧（微信號：blog51cto）
作者 | Liam Crilly
編譯 | 言征
從GitHub Copilot到Microsoft Office Copilot再到ChatGPT等，AI已經以光速從“總有一天我們會到達那里”轉變為“你的AI戰略是什么？”
因此，組織正在迅速接受AI——創造增強的最終用戶體驗、降低的運營成本和競爭優勢。圍繞AI流程和工作流程構建的全新應用程序正在涌現。像大多數新的應用程序和服務一樣，AI服務，如OpenAI或各種云提供商提供的服務，是通過API提供和消費的。
那么在AI應用跟大模型之間怎么交互呢？這里就是AI網關的用武之地。
AI網關是專門構建的系統，用于管理、保護和觀察激增的AI流量和應用需求。因此，它們正迅速成為一個重要的產品類別。那么什么是AI網關呢？也許你還真的需要一個！
一、什么是AI網關：快速定義
AI網關是一種專門的設備或解決方案，旨在管理和簡化應用程序和AI模型之間的交互，特別是在大型語言模型（LLM）和其他AI服務的背景下。網關充當AI流量的中心控制點，為應用程序訪問各種AI后端和模型提供統一的接口。AI網關還允許運營和安全團隊管理關鍵領域，如安全、治理、可觀察性和成本管理。
大多數AI網關包括以下幾組功能：
1.安全性和合規性
AI安全既是最重要的，也是最重要的。AI應用程序可能用于處理客戶數據或其他形式的個人身份信息，并且經常暴露在有價值的專有公司數據中。越來越多的第三方AI機器人試圖在未經授權的情況下對公開的數據進行訓練。
網關處理身份驗證和零信任，充當AI服務和API訪問的看門人。
面對這些和其他風險，AI網關正在成為一種新型防火墻。AI網關管理AI服務的消費者和提供者的安全憑證。
網關處理身份驗證和零信任，充當AI服務和API訪問的看門人。它還提供了一個授權層，以確保只有經過批準的用戶才能訪問特定的服務，或者根據定義的策略批準使用服務。策略可能會根據地理位置、業務部門、角色、基礎設施提供商或基礎設施類型來限制使用。
對于特定的AI提示管理，AI網關可以實現提示安全、驗證和模板生成。這通過將功能整合在一個控制平面中簡化了即時管理，該控制平面可以在不需要更新本地開發環境或不同模型系統或AI應用程序的情況下進行管理。這對于負責任和合規的AI使用至關重要，因為它可以防止開發人員圍繞受限制的主題構建AI集成或在提示中設置錯誤的上下文。
此外，AI網關被用作AI數據的防火墻或數字丟失保護系統。一個功能齊全的AI網關可以防止模型中毒、模型盜竊和其他對AI系統的新生網絡安全威脅。
2.負載平衡和集中消耗管理
你可能需要一個AI負載均衡器，即使你還沒有。AI應用程序可能具有高度的數據密集性和計算依賴性。不管理AI應用程序的流量可能意味著非常昂貴的GPU閑置著，等待資源不足的上游部分完成工作。對于面向消費者的產品來說，AI應用程序的延遲是一個殺手——你讓某人等待聊天機器人響應的時間越長，他們向左或向右滑動的可能性就越大。
然后是消費問題。如今，大多數組織都在使用多種AI模型即服務產品。這些大多是通過云提供商或其他第三方服務提供的。AI網關為管理組織內不同團隊和應用程序的AI消費提供了一個集中的平臺。這種集中化對于保持對AI流量的控制以及確保AI以合規和負責任的方式使用至關重要。
AI網關為管理不同團隊和應用程序的AI消費提供了一個集中的平臺。
通過提供統一的控制平面和負載均衡器，AI網關使組織能夠管理所有AI消耗和可觀測性收集。在AI中，消費是不同的，因為它是以代幣而不是交易或數據量來衡量的。
然而，令牌的簡單測量是不精確的：某些類型的查詢需要更多的令牌來運行作業，并且同一提示所需的令牌數量可能會隨著時間的推移而變化。換言之，假設您的標準應用程序為同一請求返回了可變數量的數據。這是AI細微差別的核心——消費可能更難預測和控制。
3.簡化開發人員工作流
如今，開發者和平臺運營團隊面臨著一系列令人眼花繚亂的AI集成和API可供選擇。云提供商可以通過其API簡化消費，但AI網關的設計允許輕松管理AIAPI和單個集成管理點。
AI網關支持多種AI服務，并提供單個API接口，開發人員可以使用該接口訪問他們需要的任何AI模型。端點可能允許開發人員訪問OpenAI提供的各種模型，但也可以訪問Hugging Face上包含的數千個更精細調整的開源模型和工具。AI網關可以自動啟用需要訪問AI服務的團隊。
是的，AI的蔓延是一件事，你不希望你的開發者擾亂它。
這個統一的API端點簡化了開發工作流程并加快了集成過程。這反過來又使開發人員能夠專注于構建AI應用程序，而不是管理復雜的集成。
正如開發人員希望在開發軟件時有一系列框架和開源模塊可供選擇一樣，AI開發人員也越來越希望有廣泛的模型和AI服務可供選擇，以便更快、更適當地定制應用程序。是的，AI的蔓延是一件事，你不希望你的開發者擾亂它。
4.成本優化、監控和可觀測性
AI網關允許組織從其AI使用中學習，以管理和降低成本。網關可以深入了解每個模型的消耗配額，從而實現高效的資源分配和成本控制。這種透明度允許用戶有效地管理他們的AI資源使用情況，確保最佳利用率并防止浪費（例如為閑置的GPU付費）。
更先進的AI網關可以通過將上下文應用于每個作業，將正確類型的AI計算作業引導到最經濟的基礎設施。例如，需要大規模和吞吐量的最關鍵的作業可能被定向到容量最高的GPU集群，而更簡單的推理作業可以被定向到更接近最終用戶但功能較弱的GPU。
優化硬幣的另一面是可觀察性和監控性。AI網關從一個地方管理AI的可觀察性，甚至可以將數據發送給第三方日志/度量收集器。這使得捕獲生成的整個AI流量更加容易，以進一步確保數據合規性并識別使用中的任何異常情況。其中一些與安全性重疊，但大部分是AI特有的，因為AI的消費模式不同，信號問題的異常也不同。
例如，AI在生產中對應用程序的推理可能看起來與正常的應用程序流量相似，但AI模型訓練和調整看起來非常突然，有大量的流量和依賴的計算工作，需要密切監控，以確保GPU不會浪費在低效的數據管道中等待。
二、為AI的狂野西部帶來秩序
更令人困惑的是，許多點產品關注的是更全面的AI網關尋求解決的一兩個問題。一些供應商還將API網關包裝成一些特定于AI的功能，并將其命名為AI網關。
有一些開源項目提供了上面討論的一些功能。例如，許多機器學習操作平臺和服務為開發團隊的AI消費創建了統一的API端點。
將許多不同的產品捆綁在一起以獲得所有功能最終將成為一個難以克服的麻煩，而且會更加昂貴。正如API管理集中在API網關上一樣，AI管理也將表現出對綜合AI網關的偏見。
最好的將為每一個接觸到這種強大的新技術范式的人提供一種有效的方式來馴服AI“狂野的西部”。
合適的AI網關將為企業采用AI鋪平道路，并使部署這項強大的新技術在任何規模上都更加常規、安全和經濟。
