“ 本地部署大模型的本質(zhì)只是一個(gè)客戶端”

人工智能的發(fā)展如火如荼，也讓越來(lái)越多的人了解到人工智能；而對(duì)大部分人來(lái)說(shuō)使用的都是第三方提供的客戶端，不論是網(wǎng)頁(yè)版，還是PC端或移動(dòng)端。

那么，我們?cè)趺丛诒镜夭渴鹨豢畲竽Ｐ湍兀肯旅婢蛠?lái)介紹三種工具。

01、本地部署大模型的三種工具

GPT4ALL

gpt4all是一款可以本地部署大模型的客戶端工具，其支持window，macOS和ubuntu(一款linux桌面系統(tǒng))系列。

其官網(wǎng)地址：https://gpt4all.io/index.html

github地址：https://github.com/nomic-ai/gpt4all

用戶可以在自己電腦上安裝GPT4ALL客戶端，如下圖所示：

用戶可以選擇自己需要的模型并進(jìn)行下載使用，只需要有CPU即可，不需要有GPU的支持。

用戶下載完客戶端，并加載完模型之后，就可以像使用第三方的大模型一樣使用，并且可以脫離網(wǎng)絡(luò)使用。

GPT4ALL不但提供了桌面的客戶端，對(duì)于懂技術(shù)的朋友來(lái)說(shuō)，也提供了多語(yǔ)言的編程接口。

如下圖所示，GPT4ALL提供了python和nodejs的編程接口。

文檔地址：https://docs.gpt4all.io/

LLMStudio

LLMStudio是第二種本地部署大模型的工具，其同樣支持多平臺(tái)的操作系統(tǒng)：

官網(wǎng)地址：https://lmstudio.ai/

github地址：https://github.com/lmstudio-ai/lms

用戶界面如下圖所示，用戶同樣可以根據(jù)自己的需求下載對(duì)應(yīng)的大模型，并使用。

LLMStudio同樣支持接口訪問(wèn)，不過(guò)其僅支持通過(guò)API調(diào)用的方式訪問(wèn)，而不是像GPT4ALL可以直接使用python sdk的方式訪問(wèn)。

文檔地址：https://lmstudio.ai/docs/local-server

Ollama

ollama是第三種本地部署大模型的方式，其同樣支持三種平臺(tái)，并且是完全開(kāi)源的。

官網(wǎng)地址：https://ollama.com/

github地址：https://github.com/ollama/ollama

從使用者的角度來(lái)說(shuō)，三者沒(méi)有什么本質(zhì)上的區(qū)別；只不過(guò)其對(duì)不同角色用戶友好程度不一樣。

比如，個(gè)人認(rèn)為Ollama客戶端更適合于開(kāi)發(fā)者，而LLStudio更適合于使用者；因?yàn)長(zhǎng)LMStudio的UI風(fēng)豐富，而Ollama更簡(jiǎn)潔。

02、技術(shù)原理

從本質(zhì)上來(lái)說(shuō)，三種工具的技術(shù)沒(méi)有本質(zhì)上的區(qū)別，其都作為大模型的客戶端來(lái)使用，只不過(guò)提供了更加豐富的使用方式用戶界面和接口的方式。

而因?yàn)榇竽Ｐ偷木幊陶Z(yǔ)言和訪問(wèn)方式的不同，工具可以通過(guò)混合編程，使用SDK和網(wǎng)絡(luò)接口的方式來(lái)調(diào)用大模型的功能。

調(diào)用模型如下圖所示：

從技術(shù)架構(gòu)的角度來(lái)說(shuō)，三種工具都采用了C/S模式的架構(gòu)，LLM大模型作為服務(wù)器Server，三種工具作為客戶端Client。

當(dāng)然，對(duì)使用者來(lái)說(shuō)需要使用三種工具作為客戶端；而對(duì)開(kāi)發(fā)者來(lái)說(shuō)，也可以自己開(kāi)發(fā)一款客戶端來(lái)調(diào)用大模型，而如果對(duì)人工智能技術(shù)也有足夠的研究，那么就可以自己開(kāi)發(fā)并訓(xùn)練一款完全符合自己需求的大模型。

對(duì)使用者來(lái)說(shuō)，他們需要的是使用好別人提供的大模型客戶端；而對(duì)開(kāi)發(fā)者來(lái)說(shuō)，可以把大模型作為技術(shù)底座，在底座之上構(gòu)建各種各樣的應(yīng)用。

本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/egx7Zrw2QoX0ZZajU6TXMA??