人類所具有的智能，可以將一些最基礎的能力，通過某種組合變成一種復雜能力，并可以用來解決復雜的、多步驟的任務。

這種能力對人工智能（AI）的發展來說同樣重要，在邁向最終的通用人工智能（AGI）的過程中，除了開發大規模智能模型外，如何讓這些模型具有「利用各種特定領域專家模型以解決復雜任務的能力」也同樣重要。

在大型語言模型（LLMs）上取得的最新進展讓我們看到了語言模型強大的學習和推理能力，有望成為未來AGI的接口以控制、執行外部模型以解決復雜任務。

最近，來自羅格斯大學的一個華人團隊開源了一個AGI研究平臺OpenAGI，專門用于提供復雜的、多步驟的任務，并輔助有特定任務的數據集、評估指標和各種可擴展的模型。

論文鏈接：https://arxiv.org/pdf/2304.04370.pdf

項目鏈接：https://github.com/agiresearch/OpenAGI

OpenAGI將復雜的任務制定為自然語言查詢，并作為語言模型的輸入；隨后由語言模型進行選擇、合成并執行OpenAGI提供的模型來解決該任務。

此外，文中還提出了一個從任務反饋中強化學習（RLTF）的機制，使用任務解決的結果作為反饋來提高語言模型的任務解決能力；即語言模型負責綜合各種外部模型來解決復雜的任務，而RLTF則提供反饋來提高其任務解決能力，從而實現自我改進的人工智能的反饋循環機制。

研究人員認為，語言模型操作各種專家模型解決復雜任務的范式是實現AGI的一個很有前途的方法。

在實驗部分，研究人員使用OpenAGI對幾個成熟的語言模型進行了評估，其規模從7.7億到1750億參數不等。

初步研究結果表明，即使是規模較小的語言模型，當與適當的學習模式（如RLTF）配對時，也具有超越更大規模模型的潛力。

語言模型是AGI的入口

最近發布的大型語言模型（LLMs），如GPT-3、LLaMA、Flan-T5等都展現出了對自然語言的深入理解能力，并可以生成連貫的、上下文相關的回復，具有卓越的學習和推理能力，可以適用于選擇、合成和執行外部專家模型以解決復雜的任務。

語言模型也并不局限于文本數據，同樣可以應用在涉及多模態的復雜任務中，如圖像和文本的處理，以及特定領域知識的整合；在理解和生成文本的過程中，語言模型起到至關重要的作用，可以幫助AI處理各種問題。

通過整合不同領域的知識和技能，開放領域模型合成（Open-domain Model Synthesis，OMS）具有推動人工通用智能（AGI）發展的潛力、 使得人工智能能夠解決各種各樣的問題和任務。

雖然該領域已有研究人員進行了初步嘗試，但仍有幾個關鍵問題需要解決：

1、可擴展性（Extensibility）， 一些相關工作使用固定數量的模型，如WebGPT和 ToolFormer，導致很難在后續進一步擴展模型的能力；

2、非線性任務規劃（ Nonlinear Task Planning）：目前的研究大多局限于用線性任務規劃方案來解決問題，即每個子任務必須在下一個子任務開始之前完成，這種方式可能無法解決過于復雜的、涉及多模態的任務；

3、定量評估（Quantitative Evaluation）：許多現有的工作只提供了定性的結果（如HuggingGPT）只依靠人類的主觀評價，很難快速、公正地評估LLM的規劃能力，無法確定所采用的策略是否最優。

OpenAGI平臺

OpenAGI平臺的目標就是緩解上述三個局限性，其中包含多樣化的特定領域專家模型和復雜的多步驟任務，支持單模態或多模態輸入，并有相應的數據集作支撐。

OpenAGI的具體工作流程為：

1）選擇自然語言任務描述和任務相關的數據集；

2）將任務描述作為輸入送入大型語言模型以生成解決方案，可能需要將解決方案映射到功能模型名稱，或使用約束生成直接生成模型名稱；

3）選擇和合成模型，并執行以處理數據樣本；

4）評估語言模型的任務解決能力可以通過比較輸出和真實標簽的一致性。

模型與數據集

OpenAGI內的專家模型主要來自于Hugging Face的transformers和diffusers庫、以及Github存儲庫。

OpenAGI的系統設計很靈活，用戶可以自行接入領域任務與模型，目前包括：

語言相關的模型

視覺相關的模型

視覺-語言相關的模型

在數據集方面為了能夠與各自模型的訓練數據集保持一致或相似，主要包括：ImageNet-1K、COCO、CNN/Daily Mail、SST2、TextVQA、SQuAD等；

在確定了原始數據集后，采用數據增強方法從不同的角度對數據集進行擴充，以構建復雜的、多步驟的任務，包括高斯模糊、高斯噪聲、灰度、低分辨率、翻譯、單詞遮罩。

評估指標包括CLIP分數（圖文相似度）、BERT分數（文本相似度）、ViT分數（視覺相似度）。

局限性

不過OpenAGI也進一步暴露了目前各種模型的局限性：

1. 分布外泛化（Out-of-Distribution Generalization）

因為特定領域的專家模型對訓練數據的分布有強烈的依賴性，在泛化能力上可能十分有限，當處理來自不同來源的、表現出分布變化的圖像時，原始模型序列變得無效了。

上圖的例子中，在大多數情況下，只有少數顏色被模型準確地恢復，并且可能是不正確的；此外噪音和模糊的存在，對人類觀察者來說仍然是高度可感知的。

2. 最優任務規劃（Optimal Task Planning）

結合不同的模型來產生解決方案的方法有很多，可能使我們難以確定最佳的方法；并且對于一個給定的任務來說，有可能存在多個有效的解決方案，但每個解決方案的質量可能差別很大。

例如，上圖中以不同的順序執行相同的四個模型會導致明顯不同的結果。與第一種方法相比，第二種方法的結果表現出明顯更多的噪音和顏色不一致的情況。

因此，對于大型語言模型來說，從各種可能性中確定并實施最佳的任務計劃是至關重要的

3. 非線性任務結構（Nonlinear Task Structures）

在模型執行過程中，一個模型可能需要一個以上的輸入，而每個輸入都需要由前一個模型產生，從而導致解決方案的非線性（樹狀）結構。

在這種情況下，采用非線性任務規劃可以更有效地整合不同的輸入，更有效地對模型進行并行處理以達到預期的結果。

然而，將這種非線性任務規劃能力納入大型語言性會帶來更大的挑戰，有可能超出語言模型的任務解決能力范圍。

RLTF+非線性任務規劃

為了解決「分布外泛化」和「最優任務規劃」的問題，研究人員提出了從任務反饋中進行強化學習（Reinforcement Learning from Task Feedback，RLTF）的機制，基于在執行大型語言模型中設計的解決方案后從任務中獲取的性能反饋，可以有效地完善語言模型的規劃策略，從而形成了一個增強的、更具適應性的系統。

事實上，在面對現實世界的任務時，僅僅依靠輸入文本的學習對大型語言模型來說是不夠的；任務反饋提供了額外的信息，將LLM的學習軌跡引向改進且有效的解決方案。

對于「非線性任務結構」問題，研究人員提出了非線性任務規劃，利用beam search作為一種有效的半自回歸解碼方法，在每個解碼步驟中，不同的假設（hypotheses）被視為不同輸入的平行可操作解決方案，而非相互競爭的假設。

為了達到這個目的，語言模型必須滿足三個條件：1）只生成模型名稱，沒有無關的標記；2）生成有效的模型序列；3）必要時為不同的輸入生成并行的模型序列。

如果一個任務需要對多個輸入進行并行處理，如文本和圖像，那么在生成時，一個以文本為輸入的可操作方案和另一個以圖像為輸入的方案將被生成并并行地執行。

實驗結果

與LLaMA-7b和Flan-T5-Large相比，GPT-3.5-turbo在零樣本和少樣本學習設置中都表現出優越的性能，在BERT評分、ViT評分和整體性能中都取得了更高的評分。

LLaMA-7b雖然表現不如GPT-3.5-turbo，但與它的零樣本學習性能相比，在少樣本學習中表現出更好的整體性能；不過在相同設置下，其性能仍遠低于GPT-3.5-turbo。

與零樣本和少樣本學習策略相比，使用微調或來自任務反饋的強化學習(RLTF)時，Flan-T5-Large展現出明顯的性能提升。

在進一步的分析中可以發現，在零樣本的情況下，大多數語言模型都很難生成有效的任務規劃，更不用說最佳解決方案；特別是，GPT-3.5傾向于產生重復的內容，隨后映射到相同的模型名稱。

同時，LLaMA-7b和Flan-T5-Large受制于它們的零樣本能力，同樣未能生成一個合理的計劃。

在少樣本的設置中，加入了幾個手動標注的任務計劃作為指導生成的指令后，可以看到任務計劃的質量得到了顯著的改善。

三個語言模型都能在短時間內生成合理的規劃，與所提供的例子在語義上相似的解決方案。