你想在本地部署大模型嗎?本地部署大模型的三種工具 原創(chuàng) 精華
“ 本地部署大模型的本質(zhì)只是一個(gè)客戶端”
人工智能的發(fā)展如火如荼,也讓越來(lái)越多的人了解到人工智能;而對(duì)大部分人來(lái)說(shuō)使用的都是第三方提供的客戶端,不論是網(wǎng)頁(yè)版,還是PC端或移動(dòng)端。
那么,我們?cè)趺丛诒镜夭渴鹨豢畲竽P湍兀肯旅婢蛠?lái)介紹三種工具。
01、本地部署大模型的三種工具
GPT4ALL
gpt4all是一款可以本地部署大模型的客戶端工具,其支持window,macOS和ubuntu(一款linux桌面系統(tǒng))系列。

其官網(wǎng)地址:https://gpt4all.io/index.html
github地址:https://github.com/nomic-ai/gpt4all
用戶可以在自己電腦上安裝GPT4ALL客戶端,如下圖所示:
用戶可以選擇自己需要的模型并進(jìn)行下載使用,只需要有CPU即可,不需要有GPU的支持。
用戶下載完客戶端,并加載完模型之后,就可以像使用第三方的大模型一樣使用,并且可以脫離網(wǎng)絡(luò)使用。

GPT4ALL不但提供了桌面的客戶端,對(duì)于懂技術(shù)的朋友來(lái)說(shuō),也提供了多語(yǔ)言的編程接口。
如下圖所示,GPT4ALL提供了python和nodejs的編程接口。
文檔地址:https://docs.gpt4all.io/

LLMStudio
LLMStudio是第二種本地部署大模型的工具,其同樣支持多平臺(tái)的操作系統(tǒng):
官網(wǎng)地址:https://lmstudio.ai/
github地址:https://github.com/lmstudio-ai/lms

用戶界面如下圖所示,用戶同樣可以根據(jù)自己的需求下載對(duì)應(yīng)的大模型,并使用。

LLMStudio同樣支持接口訪問(wèn),不過(guò)其僅支持通過(guò)API調(diào)用的方式訪問(wèn),而不是像GPT4ALL可以直接使用python sdk的方式訪問(wèn)。
文檔地址:https://lmstudio.ai/docs/local-server
Ollama
ollama是第三種本地部署大模型的方式,其同樣支持三種平臺(tái),并且是完全開(kāi)源的。
官網(wǎng)地址:https://ollama.com/
github地址:https://github.com/ollama/ollama

從使用者的角度來(lái)說(shuō),三者沒(méi)有什么本質(zhì)上的區(qū)別;只不過(guò)其對(duì)不同角色用戶友好程度不一樣。
比如,個(gè)人認(rèn)為Ollama客戶端更適合于開(kāi)發(fā)者,而LLStudio更適合于使用者;因?yàn)長(zhǎng)LMStudio的UI風(fēng)豐富,而Ollama更簡(jiǎn)潔。
02、技術(shù)原理
從本質(zhì)上來(lái)說(shuō),三種工具的技術(shù)沒(méi)有本質(zhì)上的區(qū)別,其都作為大模型的客戶端來(lái)使用,只不過(guò)提供了更加豐富的使用方式用戶界面和接口的方式。
而因?yàn)榇竽P偷木幊陶Z(yǔ)言和訪問(wèn)方式的不同,工具可以通過(guò)混合編程,使用SDK和網(wǎng)絡(luò)接口的方式來(lái)調(diào)用大模型的功能。
調(diào)用模型如下圖所示:

從技術(shù)架構(gòu)的角度來(lái)說(shuō),三種工具都采用了C/S模式的架構(gòu),LLM大模型作為服務(wù)器Server,三種工具作為客戶端Client。
當(dāng)然,對(duì)使用者來(lái)說(shuō)需要使用三種工具作為客戶端;而對(duì)開(kāi)發(fā)者來(lái)說(shuō),也可以自己開(kāi)發(fā)一款客戶端來(lái)調(diào)用大模型,而如果對(duì)人工智能技術(shù)也有足夠的研究,那么就可以自己開(kāi)發(fā)并訓(xùn)練一款完全符合自己需求的大模型。
對(duì)使用者來(lái)說(shuō),他們需要的是使用好別人提供的大模型客戶端;而對(duì)開(kāi)發(fā)者來(lái)說(shuō),可以把大模型作為技術(shù)底座,在底座之上構(gòu)建各種各樣的應(yīng)用。
本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者:DFires
原文鏈接:??https://mp.weixin.qq.com/s/egx7Zrw2QoX0ZZajU6TXMA??

















