什么是AI網(wǎng)關(guān)？你還需要一個(gè)嗎？原創(chuàng)

發(fā)布于 2024-5-6 09:48

瀏覽

0收藏

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

作者 | Liam Crilly

編譯 | 言征

從GitHub Copilot到Microsoft Office Copilot再到ChatGPT等，AI已經(jīng)以光速從“總有一天我們會(huì)到達(dá)那里”轉(zhuǎn)變?yōu)椤澳愕腁I戰(zhàn)略是什么？”

因此，組織正在迅速接受AI——?jiǎng)?chuàng)造增強(qiáng)的最終用戶體驗(yàn)、降低的運(yùn)營成本和競爭優(yōu)勢。圍繞AI流程和工作流程構(gòu)建的全新應(yīng)用程序正在涌現(xiàn)。像大多數(shù)新的應(yīng)用程序和服務(wù)一樣，AI服務(wù)，如OpenAI或各種云提供商提供的服務(wù)，是通過API提供和消費(fèi)的。

那么在AI應(yīng)用跟大模型之間怎么交互呢？這里就是AI網(wǎng)關(guān)的用武之地。

AI網(wǎng)關(guān)是專門構(gòu)建的系統(tǒng)，用于管理、保護(hù)和觀察激增的AI流量和應(yīng)用需求。因此，它們正迅速成為一個(gè)重要的產(chǎn)品類別。那么什么是AI網(wǎng)關(guān)呢？也許你還真的需要一個(gè)！

一、什么是AI網(wǎng)關(guān)：快速定義

AI網(wǎng)關(guān)是一種專門的設(shè)備或解決方案，旨在管理和簡化應(yīng)用程序和AI模型之間的交互，特別是在大型語言模型（LLM）和其他AI服務(wù)的背景下。網(wǎng)關(guān)充當(dāng)AI流量的中心控制點(diǎn)，為應(yīng)用程序訪問各種AI后端和模型提供統(tǒng)一的接口。AI網(wǎng)關(guān)還允許運(yùn)營和安全團(tuán)隊(duì)管理關(guān)鍵領(lǐng)域，如安全、治理、可觀察性和成本管理。

大多數(shù)AI網(wǎng)關(guān)包括以下幾組功能：

1.安全性和合規(guī)性

AI安全既是最重要的，也是最重要的。AI應(yīng)用程序可能用于處理客戶數(shù)據(jù)或其他形式的個(gè)人身份信息，并且經(jīng)常暴露在有價(jià)值的專有公司數(shù)據(jù)中。越來越多的第三方AI機(jī)器人試圖在未經(jīng)授權(quán)的情況下對公開的數(shù)據(jù)進(jìn)行訓(xùn)練。

網(wǎng)關(guān)處理身份驗(yàn)證和零信任，充當(dāng)AI服務(wù)和API訪問的看門人。

面對這些和其他風(fēng)險(xiǎn)，AI網(wǎng)關(guān)正在成為一種新型防火墻。AI網(wǎng)關(guān)管理AI服務(wù)的消費(fèi)者和提供者的安全憑證。

網(wǎng)關(guān)處理身份驗(yàn)證和零信任，充當(dāng)AI服務(wù)和API訪問的看門人。它還提供了一個(gè)授權(quán)層，以確保只有經(jīng)過批準(zhǔn)的用戶才能訪問特定的服務(wù)，或者根據(jù)定義的策略批準(zhǔn)使用服務(wù)。策略可能會(huì)根據(jù)地理位置、業(yè)務(wù)部門、角色、基礎(chǔ)設(shè)施提供商或基礎(chǔ)設(shè)施類型來限制使用。

對于特定的AI提示管理，AI網(wǎng)關(guān)可以實(shí)現(xiàn)提示安全、驗(yàn)證和模板生成。這通過將功能整合在一個(gè)控制平面中簡化了即時(shí)管理，該控制平面可以在不需要更新本地開發(fā)環(huán)境或不同模型系統(tǒng)或AI應(yīng)用程序的情況下進(jìn)行管理。這對于負(fù)責(zé)任和合規(guī)的AI使用至關(guān)重要，因?yàn)樗梢苑乐归_發(fā)人員圍繞受限制的主題構(gòu)建AI集成或在提示中設(shè)置錯(cuò)誤的上下文。

此外，AI網(wǎng)關(guān)被用作AI數(shù)據(jù)的防火墻或數(shù)字丟失保護(hù)系統(tǒng)。一個(gè)功能齊全的AI網(wǎng)關(guān)可以防止模型中毒、模型盜竊和其他對AI系統(tǒng)的新生網(wǎng)絡(luò)安全威脅。

2.負(fù)載平衡和集中消耗管理

你可能需要一個(gè)AI負(fù)載均衡器，即使你還沒有。AI應(yīng)用程序可能具有高度的數(shù)據(jù)密集性和計(jì)算依賴性。不管理AI應(yīng)用程序的流量可能意味著非常昂貴的GPU閑置著，等待資源不足的上游部分完成工作。對于面向消費(fèi)者的產(chǎn)品來說，AI應(yīng)用程序的延遲是一個(gè)殺手——你讓某人等待聊天機(jī)器人響應(yīng)的時(shí)間越長，他們向左或向右滑動(dòng)的可能性就越大。

然后是消費(fèi)問題。如今，大多數(shù)組織都在使用多種AI模型即服務(wù)產(chǎn)品。這些大多是通過云提供商或其他第三方服務(wù)提供的。AI網(wǎng)關(guān)為管理組織內(nèi)不同團(tuán)隊(duì)和應(yīng)用程序的AI消費(fèi)提供了一個(gè)集中的平臺(tái)。這種集中化對于保持對AI流量的控制以及確保AI以合規(guī)和負(fù)責(zé)任的方式使用至關(guān)重要。

AI網(wǎng)關(guān)為管理不同團(tuán)隊(duì)和應(yīng)用程序的AI消費(fèi)提供了一個(gè)集中的平臺(tái)。

通過提供統(tǒng)一的控制平面和負(fù)載均衡器，AI網(wǎng)關(guān)使組織能夠管理所有AI消耗和可觀測性收集。在AI中，消費(fèi)是不同的，因?yàn)樗且源鷰哦皇墙灰谆驍?shù)據(jù)量來衡量的。

然而，令牌的簡單測量是不精確的：某些類型的查詢需要更多的令牌來運(yùn)行作業(yè)，并且同一提示所需的令牌數(shù)量可能會(huì)隨著時(shí)間的推移而變化。換言之，假設(shè)您的標(biāo)準(zhǔn)應(yīng)用程序?yàn)橥徽埱蠓祷亓丝勺償?shù)量的數(shù)據(jù)。這是AI細(xì)微差別的核心——消費(fèi)可能更難預(yù)測和控制。

3.簡化開發(fā)人員工作流

如今，開發(fā)者和平臺(tái)運(yùn)營團(tuán)隊(duì)面臨著一系列令人眼花繚亂的AI集成和API可供選擇。云提供商可以通過其API簡化消費(fèi)，但AI網(wǎng)關(guān)的設(shè)計(jì)允許輕松管理AIAPI和單個(gè)集成管理點(diǎn)。

AI網(wǎng)關(guān)支持多種AI服務(wù)，并提供單個(gè)API接口，開發(fā)人員可以使用該接口訪問他們需要的任何AI模型。端點(diǎn)可能允許開發(fā)人員訪問OpenAI提供的各種模型，但也可以訪問Hugging Face上包含的數(shù)千個(gè)更精細(xì)調(diào)整的開源模型和工具。AI網(wǎng)關(guān)可以自動(dòng)啟用需要訪問AI服務(wù)的團(tuán)隊(duì)。

是的，AI的蔓延是一件事，你不希望你的開發(fā)者擾亂它。

這個(gè)統(tǒng)一的API端點(diǎn)簡化了開發(fā)工作流程并加快了集成過程。這反過來又使開發(fā)人員能夠?qū)Ｗ⒂跇?gòu)建AI應(yīng)用程序，而不是管理復(fù)雜的集成。

正如開發(fā)人員希望在開發(fā)軟件時(shí)有一系列框架和開源模塊可供選擇一樣，AI開發(fā)人員也越來越希望有廣泛的模型和AI服務(wù)可供選擇，以便更快、更適當(dāng)?shù)囟ㄖ茟?yīng)用程序。是的，AI的蔓延是一件事，你不希望你的開發(fā)者擾亂它。

4.成本優(yōu)化、監(jiān)控和可觀測性

AI網(wǎng)關(guān)允許組織從其AI使用中學(xué)習(xí)，以管理和降低成本。網(wǎng)關(guān)可以深入了解每個(gè)模型的消耗配額，從而實(shí)現(xiàn)高效的資源分配和成本控制。這種透明度允許用戶有效地管理他們的AI資源使用情況，確保最佳利用率并防止浪費(fèi)（例如為閑置的GPU付費(fèi)）。

更先進(jìn)的AI網(wǎng)關(guān)可以通過將上下文應(yīng)用于每個(gè)作業(yè)，將正確類型的AI計(jì)算作業(yè)引導(dǎo)到最經(jīng)濟(jì)的基礎(chǔ)設(shè)施。例如，需要大規(guī)模和吞吐量的最關(guān)鍵的作業(yè)可能被定向到容量最高的GPU集群，而更簡單的推理作業(yè)可以被定向到更接近最終用戶但功能較弱的GPU。

優(yōu)化硬幣的另一面是可觀察性和監(jiān)控性。AI網(wǎng)關(guān)從一個(gè)地方管理AI的可觀察性，甚至可以將數(shù)據(jù)發(fā)送給第三方日志/度量收集器。這使得捕獲生成的整個(gè)AI流量更加容易，以進(jìn)一步確保數(shù)據(jù)合規(guī)性并識(shí)別使用中的任何異常情況。其中一些與安全性重疊，但大部分是AI特有的，因?yàn)锳I的消費(fèi)模式不同，信號(hào)問題的異常也不同。

例如，AI在生產(chǎn)中對應(yīng)用程序的推理可能看起來與正常的應(yīng)用程序流量相似，但AI模型訓(xùn)練和調(diào)整看起來非常突然，有大量的流量和依賴的計(jì)算工作，需要密切監(jiān)控，以確保GPU不會(huì)浪費(fèi)在低效的數(shù)據(jù)管道中等待。