再談大模型工作流技術(shù)之——ComfyUI框架 原創(chuàng)
在之前的文章中寫了一篇關(guān)于ComfyUI工作流的文章，??大模型之視頻圖像生成之工作流——ComfyUI和AI煉丹師??，不過在此之前對(duì)工作流并不熟悉；本著先記下來再說的理念就有了之前的這篇文章。
而最近在做一款A(yù)IGC產(chǎn)品的過程中，主要負(fù)責(zé)的就是Comfyui工作流這塊；本著要知其然，也要知其所以然的心態(tài)，因此向公司的煉丹師請(qǐng)教了一下ComfyUI工作流的工作原理以及工作流程。
ComfyUI的工作原理以及流程
首先要聲明一個(gè)誤區(qū)，ComfyUI是一款針對(duì)于視頻生成Stable Diffusion開發(fā)的一個(gè)UI工具，但這并不代表著ComfyUI就是Stable Diffusion公司開發(fā)的， 它是一個(gè)開源項(xiàng)目，github地址如下。
ComfyUI項(xiàng)目github項(xiàng)目地址
可能很多人都聽說過ComfyUI，但很少有人深入了解過ComfyUI框架，那么到底什么是ComfyUI?
其實(shí)簡單來說，ComfyUI就是一款用來配置工作流的可視化工具，展示形式是web頁面，用戶可以通過這個(gè)工具配置工作流，以此達(dá)到特定的目的；比如生成一個(gè)特定風(fēng)格的圖片或視頻等。
所以一句話概括，ComfyUI就是一個(gè)工作流配置工具。
如果不知道什么是工作流的讀者，可以自行度娘一下。
工作流（Workflow），就是“業(yè)務(wù)過程的部分或整體在計(jì)算機(jī)應(yīng)用環(huán)境下的自動(dòng)化”
既然明白了ComfyUI是一個(gè)工作流配置工具，那它的工作原理是什么呢？
事實(shí)上，ComfyUI是通過一個(gè)叫做節(jié)點(diǎn)的東西來配置工作流的，通過對(duì)不同的節(jié)點(diǎn)進(jìn)行配置，使得業(yè)務(wù)可以按照工作流配置的流程去執(zhí)行。
而ComyUI因?yàn)槭钦娴拇竽Ｐ图夹g(shù)而開發(fā)的，因此它支持在節(jié)點(diǎn)中配置不同的大模型來實(shí)現(xiàn)不同的目的和效果。
比如，在傳統(tǒng)的AIGC實(shí)現(xiàn)過程中，要想實(shí)現(xiàn)一個(gè)視頻生成的功能，那么就需要找到一個(gè)視頻生成大模型，比如openAI提供的Sora。
而對(duì)大模型技術(shù)有過了解的人應(yīng)該都知道，不論什么大模型都會(huì)有其擅長和不擅長的一面，畢竟通用大模型還沒實(shí)現(xiàn)。因此，如果你想使用一個(gè)視頻生成模型來生成多種不同風(fēng)格的視頻，那么其效果可能就大打折扣了。
比如，你要想讓一個(gè)視頻生成模型即可以生成古風(fēng)視頻，又可以生成現(xiàn)代視頻，又可以生成未來的視頻，同時(shí)又要求高質(zhì)量生成，這樣的模型可能并不存在。
那么，一般的解決辦法是什么？
通過重新訓(xùn)練或微調(diào)的方式，來讓大模型生成不同風(fēng)格的視頻，為不同的風(fēng)格微調(diào)不同的大模型。
但我們知道，由于大模型訓(xùn)練和微調(diào)巨大的成本壓力，這種方式顯然是不現(xiàn)實(shí)的。那么應(yīng)該怎么解決呢？
這時(shí)就可以換一種方式，那就是為每種風(fēng)格的視頻，都找到一個(gè)開源的模型，這個(gè)問題自然就解決了。
但雖然不同風(fēng)格的視頻生成解決了，但面對(duì)如此多的視頻風(fēng)格，個(gè)人或企業(yè)要怎么維護(hù)？如果如果需要多個(gè)模型進(jìn)行配合該怎么辦？而且有新人進(jìn)來，難道要一個(gè)一個(gè)地教他們?cè)趺词褂貌煌L(fēng)格的模型。
因此，這時(shí)ComfyUI的作用就體現(xiàn)出來了，首先ComfyUI可以通過配置的方式，配置一個(gè)固定的工作流，其中調(diào)用在需要的節(jié)點(diǎn)調(diào)用合適的大模型。這樣，以后再想生成同樣風(fēng)格的視頻，就可以直接使用這個(gè)工作流即可。
其次，ComfyUI通過在不同的節(jié)點(diǎn)配置不同的大模型，就可以達(dá)到讓多個(gè)大模型協(xié)作的效果。這樣只需要一個(gè)強(qiáng)大的視頻生成模型，配合不同的風(fēng)格的小模型就可以達(dá)到生成多種風(fēng)格視頻的目的。
那么，ComfyUI是怎么工作的呢？
首先，ComfyUI是一個(gè)B/S結(jié)構(gòu)的工作流框架，B/S結(jié)構(gòu)是基于瀏覽器和服務(wù)器的模式；用戶可以通過在本地或遠(yuǎn)程服務(wù)器上安裝ComfyUI框架，那么用戶就可以直接通過瀏覽器方式ComfyUI服務(wù)端。
其次，煉丹師根據(jù)具體的業(yè)務(wù)要求，通過節(jié)點(diǎn)配置ComfyUI工作流；最終，此工作流會(huì)被保存為一個(gè)JSON文件，這樣開發(fā)人員就可以通過這個(gè)JSON文件，通過修改其參數(shù)的形式，來調(diào)用ComfyUI接口來生成不同風(fēng)格的內(nèi)容。
本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires
