ChatGPT在廣泛的開放域任務(wù)上展現(xiàn)出令人矚目的強(qiáng)大對話、上下文學(xué)習(xí)和代碼生成能力，而且它所獲得的常識(shí)知識(shí)還可以為特定領(lǐng)域的任務(wù)生成高級(jí)解決方案概要。不過，除了更強(qiáng)大的學(xué)習(xí)、理解和生成能力，ChatGPT還有哪些問題需要解決呢？

微軟最近發(fā)布了TaskMatrix.AI，可能是人工智能生態(tài)系統(tǒng)中的另一個(gè)方向，將基礎(chǔ)模型與數(shù)百萬個(gè)API連接起來以完成任務(wù)，是Toolformer和chatGPT的結(jié)合，可能也是LLM的另一個(gè)未來。

1. 問題

ChatGPT或GPT-4在一些專業(yè)任務(wù)中仍然面臨困難，因?yàn)樗鼈冊陬A(yù)訓(xùn)練期間缺乏足夠的領(lǐng)域特定數(shù)據(jù)，或者它們在執(zhí)行需要準(zhǔn)確執(zhí)行任務(wù)的神經(jīng)網(wǎng)絡(luò)計(jì)算中經(jīng)常出現(xiàn)錯(cuò)誤。另一方面，還有許多現(xiàn)有的模型和系統(tǒng)（基于符號(hào)或基于神經(jīng)網(wǎng)絡(luò)），可以非常好地完成一些領(lǐng)域特定的任務(wù)。然而，由于不同的實(shí)現(xiàn)或工作機(jī)制，它們不容與基礎(chǔ)模型兼容。

此外，人工智能的用例是無窮無盡的，不僅在數(shù)字世界中提供幫助，而且在物理世界中幫助完成各種任務(wù)，從照片處理到控制智能家居設(shè)備，它可以做的往往超出想象。

因此，需要一種機(jī)制，可以利用基礎(chǔ)模型提出任務(wù)解決方案的概要，然后自動(dòng)將概述中的一些子任務(wù)與現(xiàn)成的具有特殊功能的模型和系統(tǒng)的API進(jìn)行匹配，以完成它們。TaskMatrix.AI 就是這樣一種機(jī)制。

2. TaskMatrix.AI 概述

TaskMatrix.AI 通過將基礎(chǔ)模型與現(xiàn)有模型和 API 相結(jié)合，以服務(wù)于各種各樣的任務(wù)。以下是 TaskMatrix.AI 可以執(zhí)行的任務(wù)：

• 人工智能可以通過將基礎(chǔ)模型作為核心系統(tǒng)來理解不同類型的輸入（例如文本、圖像、視頻、音頻和代碼），執(zhí)行數(shù)字和物理任務(wù)，然后生成代碼來調(diào)用 API 來完成任務(wù)。
• TaskMatrix.AI 有一個(gè) API 平臺(tái)，作為各種領(lǐng)域任務(wù)的存儲(chǔ)庫。這個(gè)平臺(tái)上的所有 API 都有一致的文檔格式，這使得基礎(chǔ)模型很容易使用，開發(fā)人員也很容易添加新的 API。
• TaskMatrix.AI 具有強(qiáng)大的終身學(xué)習(xí)能力，因?yàn)樗梢酝ㄟ^向 API 平臺(tái)添加具有特定功能的新 API 來擴(kuò)展其處理新任務(wù)的技能。
• 由于任務(wù)解決邏輯（即操作代碼）和 API 的結(jié)果都是可以理解的，因此 TaskMatrix.AI 的響應(yīng)具有更好的可解釋性。

3. TaskMatrix.AI de 體系結(jié)構(gòu)

TaskMatrix.AI的整體架構(gòu)及其四個(gè)主要組成部分：

• 多模態(tài)對話基礎(chǔ)模型(MCFM)：它負(fù)責(zé)與用戶通信，理解他們的目標(biāo)和(多模態(tài))上下文，并基于 API 生成可執(zhí)行代碼以完成特定任務(wù)。
• API 平臺(tái)：提供一個(gè)統(tǒng)一的 API 文檔模式來存儲(chǔ)具有不同功能的數(shù)百萬個(gè) API，并允許 API 開發(fā)人員或所有者注冊、更新和刪除他們的 API。
• API 選擇器：根據(jù) MCFM 對用戶命令的理解推薦相關(guān)的 API。
• API 執(zhí)行器：通過調(diào)用相關(guān) API 執(zhí)行生成的操作代碼，并返回中間和最終執(zhí)行結(jié)果。

這4個(gè)子系統(tǒng)共同工作，使TaskMatrix.AI能夠理解用戶目標(biāo)，并為特定任務(wù)執(zhí)行基于 API 的可執(zhí)行代碼。多模態(tài)會(huì)話基礎(chǔ)模型(MCFM)作為用戶交流的主要接口，可以理解多模態(tài)上下文。API 平臺(tái)提供了一個(gè)統(tǒng)一的 API 文檔模式和一個(gè)存儲(chǔ)數(shù)百萬 API 的地方。API 選擇器使用 MCFM 對用戶目標(biāo)的理解來推薦相關(guān)的 API。最后，API 執(zhí)行器執(zhí)行由相關(guān) API 生成的操作代碼并返回結(jié)果。此外，該團(tuán)隊(duì)還利用人工反饋(RLHF)技術(shù)的強(qiáng)化學(xué)習(xí)來訓(xùn)練一種獎(jiǎng)勵(lì)模型，該模型可以優(yōu)化任務(wù)矩陣(taskMatrix)。該方法可以幫助 MCFM 和 API 選擇器找到最優(yōu)策略，提高復(fù)雜任務(wù)的性能。

3.1 多模態(tài)會(huì)話基礎(chǔ)模型(MCFM)

MCFM 有四個(gè)輸入：基礎(chǔ)模型的參數(shù)、API 平臺(tái)、用戶指令和會(huì)話上下文。使用這些輸入，模型生成操作代碼來完成用戶的指令。此外，理想的多模式會(huì)話框架模型 (MCFM) 應(yīng)該具有以下四個(gè)主要功能：

• 獲取多模式輸入，并根據(jù)特定任務(wù)的 API 生成可執(zhí)行代碼。
• 從用戶指令中提取特定任務(wù)并提出解決方案大綱。
• 了解如何從文檔中使用 API，并根據(jù)常識(shí)和 API 使用歷史將其與特定任務(wù)進(jìn)行匹配。
• 包含一個(gè)明確的代碼驗(yàn)證機(jī)制來確認(rèn)可靠性和可信性。

ChatGPT 和 GPT-4 是具有 MCFM 所需的這些能力的兩個(gè)模型示例。然而，GPT-4 更適合，因?yàn)樗С侄嗄B(tài)輸入。

3.2 API 平臺(tái)

API 平臺(tái)有兩個(gè)主要功能: 存儲(chǔ) API 和管理 API 的開發(fā)者或所有者。API 平臺(tái)有一個(gè)統(tǒng)一的 API 文檔模板，包括每個(gè) API 文檔的五個(gè)方面:

• API 名稱: 提供 API 概述并作為操作執(zhí)行者的入口。
• 參數(shù)列表: 包括輸入?yún)?shù)和返回值，每個(gè)參數(shù)都有名稱、說明、數(shù)據(jù)類型和默認(rèn)值。
• API 描述: 包含有關(guān) API 的功能、工作原理、輸入和輸出以及潛在錯(cuò)誤或異常的信息。
• 應(yīng)用示例(可選): 展示如何使用該 API。
• 組合指導(dǎo)(可選): 提供如何組合多個(gè) API 以完成復(fù)雜用戶指令的指導(dǎo)。
• API 平臺(tái)有兩個(gè)主要功能: API 的存儲(chǔ)和開發(fā)人員或所有者對 API 的管理。

API 描述示例：打開一個(gè)文件

API Name: open_local_file
API Parameter: (file_path:string, model:string="r"). 
    file_path: string, the pathname (absolute or relative to the current working directory) of the file to be opened.
    mode: string="r", the mode is an optional string that specifies the mode in which the file is opened. It defaults to "r" which means open for reading in text mode. Other common values are "w" for writing. This file will return a File object or OSError.

API Description: Open the file and return a corresponding file object. If the file cannot be opened,an OSError is raised.

Usage Example: f = open_local_file("example.txt", "w")

Composition Instructions: Open should be used before reading and editing. The file should be closed by close_local_file after all operations.

3.3 API 選擇器

API選擇器旨在從API平臺(tái)中識(shí)別和選擇最適合任務(wù)需求的API。它可以通過檢索語義相關(guān)的API來減少API平臺(tái)可能擁有的過多API。API選擇器可以利用模塊策略來快速定位相關(guān)的API。

模塊策略是指根據(jù)API的領(lǐng)域?qū)PI組織成特定的包或模塊的方法。每個(gè)模塊對應(yīng)于一個(gè)特定的區(qū)域，例如可視化模型、數(shù)學(xué)、特定的軟件或物理設(shè)備。通過使用這種策略，API選擇器可以快速定位符合MCFM所理解的任務(wù)需求和解決方案大綱的相關(guān)API。這種方法有助于簡化API選擇過程，并使從API平臺(tái)檢索語義相關(guān)的API變得更加容易。

3.4 動(dòng)作執(zhí)行器

動(dòng)作執(zhí)行器被設(shè)計(jì)用來執(zhí)行動(dòng)作代碼。AI 使用一個(gè)動(dòng)作執(zhí)行器來運(yùn)行各種 API，從簡單的 HTTP 請求到需要多個(gè)輸入?yún)?shù)的復(fù)雜算法或 AI 模型。

動(dòng)作執(zhí)行器還需要一個(gè)驗(yàn)證機(jī)制來提高準(zhǔn)確性和可靠性，并確認(rèn)生成的代碼的結(jié)果是否符合人類指定的任務(wù)。

3.5 以人為本的強(qiáng)化學(xué)習(xí)(RLHF)

TaskMatrix.AI 將利用 RLHF 來增強(qiáng) MCFM 和 API 選擇器，以便在復(fù)雜任務(wù)中提供更好的性能。

RLHF 將專門用于優(yōu)化 API 選擇器，使用基于 API 反饋的訓(xùn)練有素的獎(jiǎng)勵(lì)模型：

• 給 API 開發(fā)者的反饋
• API 開發(fā)人員將收到關(guān)于他們的 API 是否用于完成任務(wù)的反饋。

這將允許以最優(yōu)化的方式創(chuàng)建 API 文檔來使用給定的 API。

4. TaskMatrix 的用例

TaskMatrix. AI 可以幫助解決哪些任務(wù)呢？

TaskMatrix. AI 與基礎(chǔ)模型、云服務(wù)、機(jī)器人技術(shù)和物聯(lián)網(wǎng)的持續(xù)發(fā)展相結(jié)合，有潛力創(chuàng)造一個(gè)生產(chǎn)力和創(chuàng)造力都有所提高的未來世界。

4.1 可視化任務(wù)

基于MCFM的多模態(tài)特性，TaskMatrix.AI可以執(zhí)行可視化任務(wù)，并且能夠?qū)⒄Z言和圖像作為輸入。它可以執(zhí)行的一些視覺任務(wù)，下圖顯示了TaskMatrix.AI如何構(gòu)建在VisualChatGPT之上，并能夠更好地處理VQA任務(wù)。

圖像編輯，可以刪除或替換圖像中的對象，也可以通過TaskMatrix.AI進(jìn)行。使用圖像處理技術(shù)或計(jì)算機(jī)算法Image-to-Sketch/Depth/Hed/Line，可以將圖像轉(zhuǎn)換為草圖、深度、整體嵌套的邊緣檢測或線。Sketch/Depth/Hed/Line-to-Image與上面的相反，它將根據(jù)給定的選項(xiàng)生成圖像。

下圖顯示了TaskMatrix.AI如何使用三個(gè)API調(diào)用（圖像問答、圖像字幕和替換圖像中的對象）在解決方案大綱上定義和執(zhí)行的示例。

4.2 多模態(tài)長內(nèi)容生成

TaskMatrix.AI 的另一個(gè)用例是創(chuàng)建大型多模式（圖像和文本）內(nèi)容，以消除其他模型的字符限制。

在下面的例子中，我們可以看到 TaskMatrix.AI如何從用戶那里獲得高級(jí)指令并生成合理的響應(yīng)。

4.3 辦公自動(dòng)化

TaskMatrix.AI 可以通過理解通過語音接收的用戶指令并使任務(wù)自動(dòng)化來輕松減少辦公的工作量。此外，它還可以在沒有大量培訓(xùn)的情況下使用復(fù)雜的軟件，從而讓員工能夠?qū)Ｗ⒂诟o急的任務(wù)。

下面的例子展示了 TaskMatrix.AI 和創(chuàng)建 PowerPoint 幻燈片時(shí)使用不同 API 的人之間的對話。

4.4 云服務(wù)的利用

TaskMatrix.AI 可以像智能家居自動(dòng)化一樣工作，能夠與家里的所有設(shè)備通訊，并作為它們之間的中心連接點(diǎn)。下面的圖片顯示了一個(gè)人和 TaskMatrix.AI 之間的對話，TaskMatrix.AI 利用內(nèi)部機(jī)器人的軟件和硬件來完成日常任務(wù)。

此外，TaskMatrix.AI 可以在許多其他場景中使用，唯一的要求是它可以利用 API，例如訪問元宇宙或 Web3。

5. TaskMatrix.AI的挑戰(zhàn)

TaskMatrix.AI 仍然有相當(dāng)多的缺點(diǎn)和局限性需要解決和處理, 例如：

• 對需要?jiǎng)?chuàng)建能夠處理各種任務(wù)和各種輸入的基礎(chǔ)模型，從人類反饋中學(xué)習(xí)，并使用常識(shí)推理以最高質(zhì)量完成任務(wù)。確定TaskMatrix.AI所需的最小模態(tài)集合并對其進(jìn)行訓(xùn)練仍然具有挑戰(zhàn)性。
• 創(chuàng)建和維護(hù)一個(gè)托管數(shù)百萬 API 的平臺(tái)需要解決幾個(gè)挑戰(zhàn)，API 文檔生成、API 質(zhì)量保證和API 創(chuàng)建建議，基于此，API 平臺(tái)應(yīng)該為 API 開發(fā)人員提供進(jìn)一步的指導(dǎo)，以創(chuàng)建新的 API 來解決這些任務(wù)。
• 利用數(shù)百萬個(gè) API 完成用戶指令帶來了新的挑戰(zhàn)，超越了自由文本生成，向 MCFM 推薦相關(guān)的 API 來解決特定任務(wù)至關(guān)重要。對于復(fù)雜的任務(wù)，TaskMatrix.AI 可能無法立即提出解決方案。相反，MCFM 應(yīng)與用戶進(jìn)行交互，嘗試不同的可能解決方案，找出最合適的方案。
• 安全性和隱私性可能是一個(gè)問題，需要驗(yàn)證模型是否完成用戶指令，而不做任何超出用戶意圖的事情。數(shù)據(jù)傳輸應(yīng)安全，并在與需要訪問敏感數(shù)據(jù)的不同域的各種API集成時(shí)進(jìn)行授權(quán)的數(shù)據(jù)訪問。
• TaskMatrix.AI需要一種個(gè)性化策略來幫助單個(gè)開發(fā)者構(gòu)建自己的個(gè)性化AI界面，以及幫助用戶擁有自己的個(gè)人助手。降低擴(kuò)展成本，與用戶的少量示例對齊都是挑戰(zhàn)。

6. 小結(jié)

回顧摩爾定律，或許，“AI的數(shù)量每18個(gè)月翻一番”會(huì)成為一個(gè)新的定律。

TaskMatrix.AI 將基礎(chǔ)模型與數(shù)以百萬計(jì)的現(xiàn)有模型和系統(tǒng) API集成起來，從而產(chǎn)生一個(gè)能夠執(zhí)行各種數(shù)字和物理任務(wù)的“超級(jí)人工智能”。作為一個(gè)AI平臺(tái)，允許人類利用大模型和 API 執(zhí)行大量多樣化的任務(wù)。它能夠處理每一個(gè)普通的任務(wù)(例如，制作 PPT 幻燈片或者按時(shí)間表運(yùn)行清潔機(jī)器人來打掃房間) ，讓我們更有生產(chǎn)力和創(chuàng)造力。

【參考文獻(xiàn)】 

TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs,https://arxiv.org/pdf/2303.16434.pdf