譯者 | 晶顏

審校 | 重樓

在快速發(fā)展的技術(shù)領(lǐng)域，生成式人工智能是一股革命性的力量，它改變了開(kāi)發(fā)人員處理復(fù)雜問(wèn)題和創(chuàng)新的方式。本文深入探討了生成式AI的世界，揭示了對(duì)每個(gè)開(kāi)發(fā)人員都必不可少的框架和工具。

1.LangChain

LangChain由Harrison Chase開(kāi)發(fā)，于2022年10月首次亮相，是一個(gè)開(kāi)源平臺(tái)，旨在構(gòu)建由大語(yǔ)言模型（LLM）支持的強(qiáng)大應(yīng)用程序，如ChatGPT等聊天機(jī)器人和各種定制應(yīng)用程序。

LangChain旨在為數(shù)據(jù)工程師提供一個(gè)全面的工具包，用于在各種用例中使用LLM，包括聊天機(jī)器人、自動(dòng)問(wèn)答、文本摘要等。

上圖顯示了LangChain處理信息以響應(yīng)用戶提示的步驟。最初，系統(tǒng)從一個(gè)包含大量數(shù)據(jù)的大文檔開(kāi)始。然后將該文檔分解為更小、更易于管理的塊。

這些數(shù)據(jù)塊隨后被嵌入到向量中——這個(gè)過(guò)程將數(shù)據(jù)轉(zhuǎn)換成一種可以被系統(tǒng)快速有效地檢索的格式。這些向量存儲(chǔ)在一個(gè)向量存儲(chǔ)庫(kù)中，本質(zhì)上是一個(gè)為處理向量化數(shù)據(jù)而優(yōu)化的數(shù)據(jù)庫(kù)。

當(dāng)用戶在系統(tǒng)中輸入一個(gè)提示時(shí)，LangChain會(huì)查詢這個(gè)向量存儲(chǔ)，以查找與用戶的請(qǐng)求密切匹配或相關(guān)的信息。該系統(tǒng)使用大型LLM來(lái)理解用戶提示的上下文和意圖，從而指導(dǎo)從矢量存儲(chǔ)中檢索相關(guān)信息。

一旦識(shí)別出相關(guān)信息，LLM就會(huì)使用它來(lái)生成或完成準(zhǔn)確處理查詢的答案。最后一步是用戶收到定制的響應(yīng)，這是系統(tǒng)數(shù)據(jù)處理和語(yǔ)言生成功能的輸出。

傳送門：https://www.langchain.com/

2.SingleStore Notebook

SingleStore Notebook是一個(gè)基于Jupyter Notebook的創(chuàng)新工具。對(duì)于那些使用SingleStore的分布式SQL數(shù)據(jù)庫(kù)的人來(lái)說(shuō)，它顯著增強(qiáng)了數(shù)據(jù)探索和分析過(guò)程。它與Jupyter Notebook的集成使其成為數(shù)據(jù)科學(xué)家和專業(yè)人士熟悉的強(qiáng)大平臺(tái)。以下是其主要功能和優(yōu)點(diǎn)的總結(jié)：

• 原生SingleStore SQL支持：該特性簡(jiǎn)化了從Notebook直接查詢SingleStore分布式SQL數(shù)據(jù)庫(kù)的過(guò)程。它消除了對(duì)復(fù)雜連接字符串的需求，為數(shù)據(jù)探索和分析提供了更安全、更直接的方法。
• SQL/Python互操作性：這允許SQL查詢和Python代碼之間的無(wú)縫集成。用戶可以在Notebook中執(zhí)行SQL查詢，并直接在Python數(shù)據(jù)框架中使用結(jié)果，反之亦然。這種互操作性對(duì)于有效的數(shù)據(jù)操作和分析至關(guān)重要。
• 協(xié)作工作流：該Notebook支持共享和協(xié)作編輯，使團(tuán)隊(duì)成員能夠在數(shù)據(jù)分析項(xiàng)目上協(xié)同工作。這個(gè)特性增強(qiáng)了團(tuán)隊(duì)有效地協(xié)調(diào)和結(jié)合他們的專業(yè)知識(shí)的能力。
• 交互式數(shù)據(jù)可視化：通過(guò)支持流行的數(shù)據(jù)可視化庫(kù)（如Matplotlib和Plotly），SingleStore Notebook使用戶能夠直接在Notebook環(huán)境中創(chuàng)建交互式和信息豐富的圖表和圖形。這種能力對(duì)于需要可視化地傳達(dá)其發(fā)現(xiàn)的數(shù)據(jù)科學(xué)家來(lái)說(shuō)至關(guān)重要。
• 易于使用和學(xué)習(xí)資源：該平臺(tái)是用戶友好的，有模板和文檔來(lái)幫助新用戶快速入門。這些資源對(duì)于學(xué)習(xí)Notebook的基礎(chǔ)知識(shí)和執(zhí)行復(fù)雜的數(shù)據(jù)分析任務(wù)是非常寶貴的。
• 未來(lái)的增強(qiáng)和集成：SingleStore團(tuán)隊(duì)一直致力于不斷改進(jìn)Notebook，計(jì)劃引入導(dǎo)入/導(dǎo)出、代碼自動(dòng)完成和各種場(chǎng)景的Notebook庫(kù)等功能。人們還期望bot功能能夠促進(jìn)在SingleStoreDB中編寫SQL或Python代碼。
• 簡(jiǎn)化Python代碼集成：未來(lái)的目標(biāo)是更容易在Notebook中創(chuàng)建Python代碼原型，并將這些代碼作為存儲(chǔ)過(guò)程集成到數(shù)據(jù)庫(kù)中，從而提高系統(tǒng)的整體效率和功能。

SingleStore Notebook是數(shù)據(jù)專業(yè)人士的強(qiáng)大工具，它結(jié)合了Jupyter Notebook的多功能性和針對(duì)SingleStore SQL數(shù)據(jù)庫(kù)的特定增強(qiáng)功能。它專注于易用性、協(xié)作性和交互式數(shù)據(jù)可視化，以及對(duì)未來(lái)增強(qiáng)的承諾，使其成為數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)社區(qū)的寶貴資源。

使用SingleStore Notebook功能可以免費(fèi)嘗試不同的教程，如圖像識(shí)別，圖像匹配，以及構(gòu)建LLM應(yīng)用程序等。

傳送門：https://www.singlestore.com/spaces/

3.LlamaIndex

LlamaIndex是一個(gè)高級(jí)編排框架，旨在增強(qiáng)像GPT-4這樣的LLM的功能。雖然LLM本身就很強(qiáng)大，因?yàn)?/span>它們接受過(guò)大量公共數(shù)據(jù)集的訓(xùn)練，但它們往往缺乏與私人或特定領(lǐng)域數(shù)據(jù)進(jìn)行交互的手段。LlamaIndex彌補(bǔ)了這一缺口，它提供了一種結(jié)構(gòu)化的方式來(lái)攝取、組織和利用各種數(shù)據(jù)源——包括API、數(shù)據(jù)庫(kù)和PDF。

通過(guò)將這些數(shù)據(jù)索引為針對(duì)LLM優(yōu)化的格式，LlamaIndex促進(jìn)了自然語(yǔ)言查詢，使用戶能夠無(wú)縫地與他們的私有數(shù)據(jù)交互，而無(wú)需重新訓(xùn)練模型。這個(gè)框架是通用的，既適合具有高級(jí)API的新手快速設(shè)置，也適合通過(guò)低級(jí)API尋求深度定制的專家。從本質(zhì)上講，LlamaIndex釋放了LLM的全部潛力，使它們更易于訪問(wèn)并適用于個(gè)性化數(shù)據(jù)需求。

LlamaIndex運(yùn)行原理

LlamaIndex作為一座橋梁，將LLM的強(qiáng)大功能與各種數(shù)據(jù)源連接起來(lái)，從而打開(kāi)了一個(gè)新的應(yīng)用領(lǐng)域，可以利用自定義數(shù)據(jù)和高級(jí)語(yǔ)言模型之間的協(xié)同作用。通過(guò)提供數(shù)據(jù)攝取、索引和自然語(yǔ)言查詢接口的工具，LlamaIndex使開(kāi)發(fā)人員和企業(yè)能夠構(gòu)建強(qiáng)大的、數(shù)據(jù)增強(qiáng)的應(yīng)用程序，從而顯著增強(qiáng)決策和用戶參與度。

LlamaIndex通過(guò)一個(gè)系統(tǒng)的工作流運(yùn)行，該工作流從一組文檔開(kāi)始。最初，這些文檔會(huì)經(jīng)歷一個(gè)加載過(guò)程，在這個(gè)過(guò)程中它們被導(dǎo)入到系統(tǒng)中。加載后，對(duì)數(shù)據(jù)進(jìn)行解析，以易于理解的方式分析和構(gòu)建內(nèi)容。解析后，將對(duì)信息進(jìn)行索引，以便進(jìn)行最佳檢索和存儲(chǔ)。

此索引數(shù)據(jù)安全地存儲(chǔ)在標(biāo)記為“store”的中央存儲(chǔ)庫(kù)中。當(dāng)用戶或系統(tǒng)希望從該數(shù)據(jù)存儲(chǔ)中檢索特定信息時(shí)，他們可以發(fā)起查詢。作為對(duì)查詢的響應(yīng)，相關(guān)數(shù)據(jù)會(huì)被提取出來(lái)并作為響應(yīng)交付，響應(yīng)可能是一組相關(guān)文檔或從中提取的特定信息。整個(gè)過(guò)程展示了LlamaIndex如何有效地管理和檢索數(shù)據(jù)，以確保快速準(zhǔn)確地響應(yīng)用戶查詢。

傳送門：https://www.llamaindex.ai/

4.Llama 2

Llama 2是Meta開(kāi)發(fā)的最先進(jìn)的語(yǔ)言模型。它是原始LLaMA的繼承者，但在規(guī)模、效率和性能方面都實(shí)現(xiàn)了增強(qiáng)。Llama 2模型覆蓋范圍廣（從7B到70B參數(shù)），能夠適應(yīng)不同的計(jì)算能力和應(yīng)用。Llama 2專為聊天機(jī)器人集成而定制，在對(duì)話用例中表現(xiàn)尤為出色，提供細(xì)致而連貫的響應(yīng)，突破了對(duì)話AI所能實(shí)現(xiàn)的界限。

Llama 2是使用公開(kāi)的在線數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的。這涉及到將模型暴露給大量的文本數(shù)據(jù)語(yǔ)料庫(kù)，如書(shū)籍、文章和其他書(shū)面內(nèi)容來(lái)源。這種預(yù)訓(xùn)練的目的是幫助模型學(xué)習(xí)一般的語(yǔ)言模式，并獲得對(duì)語(yǔ)言結(jié)構(gòu)的廣泛理解。它還涉及監(jiān)督微調(diào)和從人類反饋（RLHF）中強(qiáng)化學(xué)習(xí)。

RLHF的一個(gè)組成部分是拒絕樣本（rejection sampling），它包括從模型中選擇一個(gè)響應(yīng)，并根據(jù)人類的反饋接受或拒絕它。RLHF的另一個(gè)組成部分是近端策略優(yōu)化（Proximal Policy Optimization，PPO），它涉及根據(jù)人類反饋直接更新模型的策略。最后，迭代細(xì)化確保模型通過(guò)監(jiān)督迭代和修正達(dá)到期望的性能水平。

傳送門：https://about.fb.com/news/2023/07/llama-2/

5.Hugging Face

Hugging Face是一個(gè)多方面的平臺(tái)，在人工智能領(lǐng)域發(fā)揮著至關(guān)重要的作用，特別是在自然語(yǔ)言處理（NLP）和生成式人工智能領(lǐng)域。它包含各種元素，這些元素協(xié)同工作，使用戶能夠探索、構(gòu)建和共享人工智能應(yīng)用程序。以下是其關(guān)鍵方面的細(xì)分:

模型中心

• Hugging Face擁有一個(gè)龐大的預(yù)訓(xùn)練模型庫(kù)，用于各種NLP任務(wù)，包括文本分類、問(wèn)答、翻譯和文本生成。
• 這些模型是在大型數(shù)據(jù)集上訓(xùn)練的，可以根據(jù)特定需求進(jìn)行微調(diào)，使它們易于用于各種目的。
• 這消除了用戶從頭開(kāi)始訓(xùn)練模型的需要，節(jié)省了時(shí)間和資源。

數(shù)據(jù)集

• 除了模型庫(kù)之外，Hugging Face還提供了對(duì)NLP任務(wù)的大量數(shù)據(jù)集的訪問(wèn)。
• 這些數(shù)據(jù)集涵蓋了各種領(lǐng)域和語(yǔ)言，為訓(xùn)練和微調(diào)模型提供了寶貴的資源。
• 用戶也可以貢獻(xiàn)自己的數(shù)據(jù)集，豐富平臺(tái)的數(shù)據(jù)資源，促進(jìn)社區(qū)協(xié)作。

模型訓(xùn)練和微調(diào)工具

• Hugging Face提供針對(duì)特定數(shù)據(jù)集和任務(wù)的訓(xùn)練，以及微調(diào)現(xiàn)有模型的工具和功能。
• 這允許用戶根據(jù)他們的特定需求定制模型，以提高他們?cè)谀繕?biāo)應(yīng)用程序中的性能和準(zhǔn)確性。
• 該平臺(tái)為培訓(xùn)提供了靈活的選擇，包括在個(gè)人機(jī)器上進(jìn)行本地培訓(xùn)，或?yàn)榇笮湍Ｐ吞峁┗谠频慕鉀Q方案。

應(yīng)用程序構(gòu)建

• Hugging Face通過(guò)與流行的編程庫(kù)（如TensorFlow和PyTorch）無(wú)縫集成，促進(jìn)了AI應(yīng)用程序的開(kāi)發(fā)。
• 這允許開(kāi)發(fā)人員使用預(yù)訓(xùn)練模型構(gòu)建聊天機(jī)器人、內(nèi)容生成式工具和其他人工智能驅(qū)動(dòng)的應(yīng)用程序。
• 有許多應(yīng)用程序模板和教程可用于指導(dǎo)用戶并加速開(kāi)發(fā)過(guò)程。

社區(qū)與合作

• Hugging Face擁有一個(gè)充滿活力的開(kāi)發(fā)者、研究人員和人工智能愛(ài)好者社區(qū)。
• 該平臺(tái)通過(guò)模型共享、代碼庫(kù)和論壇等特性促進(jìn)協(xié)作。
• 這種協(xié)作環(huán)境促進(jìn)了知識(shí)共享，加速了創(chuàng)新，并推動(dòng)了NLP和生成式人工智能技術(shù)的進(jìn)步。

Hugging Face不僅僅是一個(gè)模型存儲(chǔ)庫(kù)，它更是一個(gè)涵蓋模型、數(shù)據(jù)集、工具和社區(qū)的綜合平臺(tái)，使用戶能夠輕松探索、構(gòu)建和共享人工智能應(yīng)用程序。

傳送門：https://huggingface.co/

6.Haystack

Haystack可以被歸類為一個(gè)端到端框架，用于構(gòu)建由各種NLP技術(shù)驅(qū)動(dòng)的應(yīng)用程序，包括但不限于生成式人工智能。雖然它不直接專注于從頭開(kāi)始構(gòu)建生成式模型，但它為以下方面提供了一個(gè)強(qiáng)大的平臺(tái)：

檢索增強(qiáng)生成（RAG）

Haystack擅長(zhǎng)將基于檢索和生成的方法結(jié)合起來(lái)進(jìn)行搜索和內(nèi)容創(chuàng)建。它允許集成各種檢索技術(shù)，包括矢量搜索和傳統(tǒng)的關(guān)鍵字搜索，以檢索相關(guān)文檔進(jìn)行進(jìn)一步處理。然后，這些文檔作為生成式模型的輸入，產(chǎn)生更集中和上下文相關(guān)的輸出。

不同的NLP組件

Haystack為各種NLP任務(wù)提供了一套全面的工具和組件，包括文檔預(yù)處理、文本摘要、問(wèn)題回答和命名實(shí)體識(shí)別。這允許構(gòu)建結(jié)合多種NLP技術(shù)來(lái)實(shí)現(xiàn)特定目標(biāo)的復(fù)雜管道。

靈活性和開(kāi)源

Haystack是一個(gè)構(gòu)建流行的NLP庫(kù)（如Transformers和Elasticsearch）之上的開(kāi)源框架。這允許自定義和與現(xiàn)有工具和工作流的集成，使其適應(yīng)不同的需求。

可擴(kuò)展性和性能

Haystack旨在有效地處理大型數(shù)據(jù)集和工作負(fù)載。它集成了強(qiáng)大的矢量數(shù)據(jù)庫(kù)，如Pinecone和Milvus，即使在數(shù)百萬(wàn)個(gè)文檔中也能實(shí)現(xiàn)快速準(zhǔn)確的搜索和檢索。

生成式AI集成

Haystack能夠與流行的生成式模型（如GPT-3和BART）無(wú)縫集成，這允許用戶在基于Haystack的應(yīng)用程序中利用這些模型的強(qiáng)大功能來(lái)完成文本生成、摘要和翻譯等任務(wù)。

雖然Haystack的重點(diǎn)不僅僅是生成式人工智能，但它為構(gòu)建利用該技術(shù)的應(yīng)用程序提供了堅(jiān)實(shí)的基礎(chǔ)。它在檢索、靈活性和可擴(kuò)展性方面的綜合優(yōu)勢(shì)使其成為開(kāi)發(fā)人員和研究人員探索各種應(yīng)用中生成式AI潛力的有價(jià)值框架。

傳送門：https://haystack.deepset.ai/

結(jié)語(yǔ)

總之，生成式人工智能的前景正在迅速發(fā)展，HuggingFace、LangChain、LlamaIndex、Llama2、Haystack和SingleStore Notebooks等框架和工具正引領(lǐng)著這一潮流。這些技術(shù)為開(kāi)發(fā)人員將人工智能集成到他們的項(xiàng)目中提供了豐富的選擇，無(wú)論他們是從事自然語(yǔ)言處理、數(shù)據(jù)分析還是復(fù)雜的人工智能應(yīng)用開(kāi)發(fā)。

原文標(biāo)題：Six Generative AI Frameworks and Tools Every Developer Should Know，作者：Pavan Belagatti