停止支付 OpenAI 稅：新興的開源 AI Agent 智能體全景技術(shù)棧原創(chuàng)

發(fā)布于 2025-1-3 10:50

瀏覽

0收藏

一套開源模型和工具，使任何開發(fā)者都能構(gòu)建最先進的 AI Agent 智能體應(yīng)用程序。

如果我們能回到過去，告訴軟件工程師他們的應(yīng)用程序?qū)⒂缮衩氐?AI Agent 智能體驅(qū)動，我們對它的內(nèi)部運作一無所知，并且他們?yōu)榱梭w驗的便利性，將最敏感的數(shù)據(jù)交給第三方，他們可能會搖頭表示不相信。但現(xiàn)在的我們就是這樣。

如今，全世界的開發(fā)者都在圍繞 AI Agent 智能體重新想象他們的應(yīng)用程序，而這默認意味著將專有的大語言模型（LLMs）集成到每個方面。雖然像OpenAI 和 Anthropic 這樣的專有 LLMs 點燃了 AI Agent 智能體革命，但它們也存在重大缺陷：令人望而卻步的成本、數(shù)據(jù)隱私問題、供應(yīng)商鎖定以及缺乏可定制性。最初，為了革命性的能力而犧牲性能和控制似乎是一筆值得做的交易，但現(xiàn)在許多開發(fā)者希望有另一種方式。

但是革命有一種使曾經(jīng)專屬的東西民主化的方式。雖然最初的 AI Agent 智能體熱點聚焦于專有模型，但真正的革命卻是開源 LLMs 作為一種可行的替代方案，像 OpenAI 這樣的專有模型一樣飛速崛起。開源 AI Agent 智能體工具的創(chuàng)新也悄然爆發(fā)，這些工具使開發(fā)者能夠利用開源 LLMs 增強的推理能力，并將其轉(zhuǎn)化為有用的應(yīng)用程序——從模型部署和托管工具到數(shù)據(jù)存儲和檢索，再到前端和后端網(wǎng)絡(luò)框架。

為了幫助您進入這個新領(lǐng)域，并根據(jù)與數(shù)百名開發(fā)者和其他 AI Agent 智能體工具構(gòu)建者的對話，我們分享了我們對“簡易模式”開源 AI Agent 智能體堆棧的選擇——最適合構(gòu)建 AI Agent 智能體應(yīng)用程序的開發(fā)者友好的模型和工具。以下是堆棧組件如何協(xié)同工作以賦予開發(fā)者權(quán)力并重塑 AI 未來的介紹：

停止支付 OpenAI 稅：新興的開源 AI Agent 智能體全景技術(shù)棧-AI.x社區(qū)

這套開源的 AI Agent 智能體工具套件將部署、隱私和性能的完全控制權(quán)交還給開發(fā)者，而且不犧牲應(yīng)用程序的智能。開發(fā)者現(xiàn)在有了構(gòu)建和部署 AI Agent 智能體解決方案的工具，無論他們想以何種方式——本地、云端或邊緣計算。他們保留了對數(shù)據(jù)的100%控制權(quán)，不必擔(dān)心“可信賴”的第三方可能會如何處理潛在敏感信息。這不僅僅是一個技術(shù)上的轉(zhuǎn)變；這是一個文化上的轉(zhuǎn)變，標志著回歸開發(fā)者自主和創(chuàng)新的核心價值觀。

這就是開源 AI Agent 智能體堆棧的承諾——一套使任何開發(fā)者都能構(gòu)建最先進的 AI Agent 智能體應(yīng)用程序的模型和工具。這不僅僅是一套技術(shù)；這是朝著讓每個開發(fā)者都能接觸創(chuàng)新邁出的一步。

1、LLMs：開源大模型

一套頂級的開源免費大語言模型（LLMs），與 OpenAI、Anthropic 和Google 的專有大模型相匹敵。這些包括來自 Meta 的 Llama 3.3，Mistral 模型家族，Qwen 模型家族，來自微軟的 Phi 3，以及 DeepMind 的 Gemma 2。

停止支付 OpenAI 稅：新興的開源 AI Agent 智能體全景技術(shù)棧-AI.x社區(qū)

開源大語言模型正在民主化 AI Agent 智能體的前沿。像來自 Meta 的 Llama 3 家族，Mistral 7B 和 Pixtral 12B，來自阿里云的 Qwen 2.5，來自微軟的Phi 3，以及來自 DeepMind 的 Gemma 2 等大模型可以免費下載和使用，任何擁有足夠硬件資源的開發(fā)者都可以運行這些模型。

這些開源模型與專有解決方案競爭，提供以下優(yōu)勢：

第一、更大的數(shù)據(jù)控制權(quán)：使用開源模型可以保持所有數(shù)據(jù)的私密性，消除對第三方的依賴，并為開發(fā)者提供更大的安全性和合規(guī)性保障。

第二、具有競爭力的推理性能：開源模型在 MMLU、HumanEval 和 MATH Reasoning 等基準測試中越來越具有競爭力，表明開源模型與專有模型在推理能力上的差距正在縮小。

第三、部署的靈活性和可定制性：您可以通過自行微調(diào)或訪問公開可用的模型微調(diào)和變體，為特定用例適應(yīng)模型，而無需受供應(yīng)商限制。

第四、小型模型的效率和可擴展性：較小的開源模型通常需要較少的計算能力，這使得它們在成本效益上更優(yōu)，且在資源受限的設(shè)備或環(huán)境中更容易部署，同時在特定任務(wù)上仍能提供強大的性能。

2、嵌入模型：開源嵌入模型

一套頂級的開源嵌入模型。這些包括：Nomic，來自 BAAI 的 BGE，Sentence Transformers 家族，以及 Jina AI 的模型等。

停止支付 OpenAI 稅：新興的開源 AI Agent 智能體全景技術(shù)棧-AI.x社區(qū)

向量嵌入在現(xiàn)代 AI Agent 智能體應(yīng)用程序中非常有用。它們?yōu)樗阉骱?RAG（檢索增強生成）功能提供支持，使 LLM 應(yīng)用程序能夠以更加扎實、上下文相關(guān)的答案進行響應(yīng)。

就像在開源 LLMs 中一樣，開源嵌入模型在與專有解決方案（比如：OpenAI 的 text-embedding-3 模型家族和 Cohere 的 embed-multilingual-v3.0）的競爭中取得了重大進展。領(lǐng)先的開源嵌入模型包括：

第一、Sentence Transformers / SBERT：開源嵌入模型家族，具有各種大小和專業(yè)化，從輕量級的 all-minilm 到多語言模型。

第二、Nomic：Nomic Embed Text V1.5 支持可變嵌入大小（768, 512, 256, 128, 64）并在檢索、相似性、聚類和分類任務(wù)上具有專長。它可以處理多達8,192個令牌的序列，并為文本和圖像數(shù)據(jù)提供多模態(tài)能力。

第三、BGE (BAAI)：BGE（BAAI 通用嵌入）模型將文本映射到密集向量，用于檢索、分類和語義搜索任務(wù)。最新的 BGE-M3 模型支持超過100種語言，并能處理多達8,192個令牌的文檔。它具有多功能性（密集檢索、多向量檢索、稀疏檢索）能力。

第四、Jina AI：Jina AI 的 jina-embeddings-v3 是一個擁有5.7億參數(shù)的模型，支持89種語言，在30種核心語言上表現(xiàn)出色。它具有8,192個令牌的輸入長度，可配置的輸出維度高達1,024，并在查詢-文檔檢索、聚類、分類和文本匹配方面具有專業(yè)能力。

3、模型的訪問和部署：Ollama

Ollama 已經(jīng)成為開發(fā)者訪問和構(gòu)建開源 LLMs 和嵌入模型的首選工具。

停止支付 OpenAI 稅：新興的開源 AI Agent 智能體全景技術(shù)棧-AI.x社區(qū)

部署 AI Agent 智能體模型曾經(jīng)就像試圖從你的車庫發(fā)射航天飛機一樣。它需要一系列令人望而生畏的專業(yè)知識：博士團隊、復(fù)雜的基礎(chǔ)設(shè)施，以及會讓大多數(shù)組織崩潰的資源。Ollama 徹底改變了游戲規(guī)則，允許開發(fā)者通過一個命令就能運行最先進的模型：

ollama run llama3.2

通過提供一個工具訪問數(shù)百個 LLMs 和嵌入模型，抽象掉基礎(chǔ)設(shè)施挑戰(zhàn)，并簡化部署流程，Ollama 將曾經(jīng)看似不可逾越的事情變成了無縫且直觀的過程。它賦予開發(fā)者專注于解決現(xiàn)實世界問題的能力，無論是在個人項目還是企業(yè)項目中，都在創(chuàng)新和實用性之間架起了橋梁。

借助開源模型和 Ollama 的簡潔性，開發(fā)者獲得了前所未有的自由，可以按照他們選擇的方式部署 AI Agent 智能體。以一個案例為例：上面開源 LLMs 和嵌入模型部分提到的所有模型都可以通過 Ollama 獲得！

4、數(shù)據(jù)存儲和檢索：PostgreSQL, pgvector 和 pgai

PostgreSQL，這個開源數(shù)據(jù)庫及其面向 AI Agent 智能體的開源擴展生態(tài)系統(tǒng)，比如：pgvector 和 pgai，是希望構(gòu)建 AI Agent 智能體應(yīng)用程序的開發(fā)者的理想選擇。

停止支付 OpenAI 稅：新興的開源 AI Agent 智能體全景技術(shù)棧-AI.x社區(qū)

良好的數(shù)據(jù)和高效的檢索是 AI Agent 智能體中 RAG 革命的核心，使開發(fā)者能夠創(chuàng)建 LLM 應(yīng)用程序，為用戶提供高度準確、基于上下文、無幻覺的答案。

然而，最佳的 AI Agent 智能體應(yīng)用程序不僅僅使用向量數(shù)據(jù)庫——它們涉及非結(jié)構(gòu)化、結(jié)構(gòu)化以及應(yīng)用數(shù)據(jù)的結(jié)合，以及在大型數(shù)據(jù)集上使用復(fù)雜過濾器進行向量搜索。這樣的檢索系統(tǒng)確保您的用戶獲得最相關(guān)的上下文答案，但構(gòu)建它們可能很復(fù)雜，在某些情況下，可能需要多個數(shù)據(jù)庫系統(tǒng)和自定義數(shù)據(jù)管道：

您需要存儲文檔和其他源數(shù)據(jù)以創(chuàng)建要搜索的知識庫。

您需要一種預(yù)處理這些數(shù)據(jù)的方法，從中創(chuàng)建向量嵌入，并隨著知識庫的變化保持這些嵌入同步。

您還需要能夠存儲和搜索向量嵌入，通常是在大規(guī)模下，并且需要在元數(shù)據(jù)和其他用戶數(shù)據(jù)上應(yīng)用復(fù)雜的過濾器。更不用說處理多租戶、權(quán)限和訪問控制、高可用性等實際關(guān)注點。

好消息是，世界上最受歡迎的數(shù)據(jù)庫 PostgreSQL 正在從一個值得信賴的關(guān)系數(shù)據(jù)庫轉(zhuǎn)變?yōu)?strong>支持結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和快速、準確的向量搜索的 AI Agent 智能體應(yīng)用程序的數(shù)據(jù)層。

PostgreSQL 是開源的，并且有一個開源擴展生態(tài)系統(tǒng)，使它成為支持 AI Agent 智能體應(yīng)用程序存儲和檢索的首選數(shù)據(jù)庫：

第一、向量搜索：像 pgvector 和 pgvectorscale 這樣的擴展支持向量存儲和相似性搜索，其性能超過了專業(yè)的向量數(shù)據(jù)庫。

第二、易用性：像 pgai 這樣的擴展簡化了在 PostgreSQL 中訪問 LLMs 以對數(shù)據(jù)進行推理，而像 pgai Vectorizer 這樣的功能使嵌入創(chuàng)建和同步像傳統(tǒng)數(shù)據(jù)庫索引一樣直觀。

第三、集成和生態(tài)系統(tǒng)：Pgai 對 Ollama 的支持使得輕松訪問最先進的開源模型進行嵌入創(chuàng)建或推理變得簡單。

示例：使用幾行 SQL 執(zhí)行語義搜索：

CREATE TABLE IF NOT EXISTS blog (
            id SERIAL PRIMARY KEY,
            title TEXT,
            authors TEXT,
            contents TEXT,
            metadata JSONB
 );


INSERT INTO blog (title, authors, contents, metadata) VALUES ('The Future of Artificial Intelligence', 'Dr. Alan Turing', 'As we look towards the future, artificial intelligence continues to evolve...', '{"tags": ["AI", "technology", "future"], "read_time": 12, "published_date": "2024-04-01"}');


--insert more data here


--Vectorize data in the contents column using models from Ollama
SELECT ai.create_vectorizer(
            'blog'::regclass,
            destination => 'blog_contents_embeddings',
            embedding => ai.embedding_ollama('nomic-embed-text', 768),
            chunking => 
ai.chunking_recursive_character_text_splitter('contents')
);


-- Perform semantic search
SELECT
            b.title,
            b.contents,
            be.chunk,
            be.embedding <=> ai.ollama_embed('nomic-embed-text', 'What comes next in AI') as distance
        FROM blog_contents_embeddings be
        JOIN blog b ON b.id = be.id
        ORDER BY distance
        LIMIT 3;

5、后端：FastAPI

你的 AI Agent 智能體應(yīng)用程序后端將智能模型連接到面向用戶的應(yīng)用程序，而 FastAPI 已經(jīng)成為開發(fā)者的首選框架。它提供以下功能：

停止支付 OpenAI 稅：新興的開源 AI Agent 智能體全景技術(shù)棧-AI.x社區(qū)

第一、速度和簡潔性：異步編程確保了低延遲和高吞吐量。

第二、開發(fā)者友好的設(shè)計：自動 API 文檔和類型提示使得快速迭代成為可能。

第三、無縫集成：非常適合實時應(yīng)用程序，比如：聊天機器人、推薦引擎和預(yù)測分析。

FastAPI 消除了后端瓶頸，允許開發(fā)者輕松地將 AI Agent 智能體應(yīng)用程序從原型擴展到生產(chǎn)。想象一下，部署一個由開源模型驅(qū)動的推薦系統(tǒng)。FastAPI 的異步功能確保用戶請求能夠即時處理，而其自動文檔保持了協(xié)作的無縫性。這些特性共同將復(fù)雜的后端工作流程轉(zhuǎn)變?yōu)榭晒芾怼⒏咝У南到y(tǒng)。

6、前端：NextJS

AI Agent 智能體應(yīng)用的前端需要處理復(fù)雜的狀態(tài)管理和動態(tài)更新，而 NextJS已經(jīng)成為生產(chǎn)部署中首選的 React 框架。

停止支付 OpenAI 稅：新興的開源 AI Agent 智能體全景技術(shù)棧-AI.x社區(qū)

它提供了一系列有用的功能：

第一、混合渲染：服務(wù)器端渲染（SSR）和客戶端靜態(tài)渲染為每個頁面提供了靈活的渲染和緩存選項。Next.js 提供了強大的服務(wù)器端功能，這對于 AI Agent 智能體應(yīng)用尤其有益。框架的 SSR 有助于高效地管理計算密集型的 AI 任務(wù)，同時減輕客戶端設(shè)備的負載。這在處理復(fù)雜的 AI 模型交互和數(shù)據(jù)處理時尤其重要。

第二、實時流和更新：它無縫集成各種實時解決方案，支持流暢的動態(tài)交互，這對于 AI 聊天和其他顯示動態(tài)內(nèi)容的 UI 特別重要。

第三、與 Vercel AI SDK 集成：Vercel AI SDK（也是開源的）專為使用Next.js 創(chuàng)建 AI Agent 智能體應(yīng)用而構(gòu)建，并支持客戶端和服務(wù)器端的 AI 功能。它與 Ollama 集成得很好，并提供了處理 AI 模型推理、流式響應(yīng)和與提供商連接的實用工具。

7、缺失的一環(huán)：評估和驗證

雖然開源 AI Agent 智能體堆棧已經(jīng)成熟，但評估仍然是一個關(guān)鍵挑戰(zhàn)。像LangFuse 和 Arize 的 Phoenix 這樣的項目提供了希望，但生態(tài)系統(tǒng)仍然缺乏一個全面的框架來測試和驗證 AI 模型。這個空白代表了一個創(chuàng)新的機會——社區(qū)有機會定義可靠、現(xiàn)實世界的 AI Agent 智能體應(yīng)用。

停止支付 OpenAI 稅：新興的開源 AI Agent 智能體全景技術(shù)棧-AI.x社區(qū)

為什么這很重要：與傳統(tǒng)應(yīng)用不同，大語言模型（LLMs）是非確定性的，這意味著如果你在沒有評估和驗證的情況下部署一個 AI Agent 智能體應(yīng)用，你就無法判斷你的應(yīng)用的表現(xiàn)。一個健壯的評估系統(tǒng)對于確保你的應(yīng)用現(xiàn)在以及隨著系統(tǒng)發(fā)展都能表現(xiàn)良好至關(guān)重要。

我們應(yīng)該說，鑒于開源社區(qū)在創(chuàng)建可觀察性和監(jiān)控工具方面的強大記錄，我們覺得這種能力上的空白特別引人入勝。我們認為，總的來說，評估生態(tài)系統(tǒng)還處于起步階段，正確的做法尚未被發(fā)現(xiàn)。我們懷疑當(dāng)前的系統(tǒng)過于一刀切，低估了跨項目評估需求的多樣性。需要的是一種類似于 DevOps 中 GitOps 革命的視角轉(zhuǎn)變，這也是為什么我們特別興奮地看到在這個領(lǐng)域開源驅(qū)動的創(chuàng)新被釋放出來。