AI 自動(dòng)生成代碼是一種使用機(jī)器學(xué)習(xí)技術(shù)來(lái)生成程序代碼的方法。通過(guò)對(duì)大量的程序代碼進(jìn)行訓(xùn)練，機(jī)器學(xué)習(xí)模型可以學(xué)習(xí)到程序代碼的語(yǔ)法和結(jié)構(gòu)，從而能夠自動(dòng)生成符合要求的程序代碼。

這種方式極大的提高了研究者的開(kāi)發(fā)效率，特別是在重復(fù)性高、邏輯簡(jiǎn)單的任務(wù)中。同時(shí)，自動(dòng)生成的代碼還可以減少人為錯(cuò)誤的發(fā)生，提高代碼的可讀性和可維護(hù)性。

然而，現(xiàn)有的代碼生成方法或工具在處理簡(jiǎn)單需求的場(chǎng)景時(shí)表現(xiàn)較好，如行級(jí)代碼補(bǔ)全和初級(jí)的函數(shù)級(jí)代碼生成。但在復(fù)雜的函數(shù)級(jí)代碼生成、深入的問(wèn)題分析和軟件系統(tǒng)設(shè)計(jì)方面，它們的表現(xiàn)尚有不足。

本文中，來(lái)自北京大學(xué)李戈教授團(tuán)隊(duì)的最新研究通過(guò)融入規(guī)劃和合作的方法論，使大型模型在原有基礎(chǔ)上能夠應(yīng)對(duì)更復(fù)雜的需求，并進(jìn)一步提高代碼生成的質(zhì)量。

總結(jié)而言，在論文《Self-planning Code Generation with Large Language Model》中，他們探索了基于規(guī)劃的代碼生成方法，提出一種使用大型語(yǔ)言模型（LLM）進(jìn)行 self-planning 來(lái)生成代碼的簡(jiǎn)潔方案。在多個(gè)代碼生成數(shù)據(jù)集上，self-planning 代碼生成的性能明顯優(yōu)于直接生成的方法。

在另一篇論文《Self-collaboration Code Generation via ChatGPT》中，該研究提出了一種名為 self-collaboration 框架，其目的是通過(guò)合作和交互方法來(lái)增強(qiáng)大模型的問(wèn)題解決能力。與直接利用大模型代碼生成相比，self-collaboration 代碼生成的相對(duì)性能提高了 29.9%-47.1%，達(dá)到了最先進(jìn)的性能，甚至超越了 GPT-4。

接下來(lái)我們看看每項(xiàng)研究的具體內(nèi)容：

論文 1：Self-planning Code Generation with Large Language Model

盡管大型語(yǔ)言模型在代碼生成方面展現(xiàn)了令人矚目的能力，在解決人類(lèi)提供的復(fù)雜意圖（intent）時(shí)仍面臨挑戰(zhàn)。人類(lèi)通常通過(guò)規(guī)劃來(lái)分解復(fù)雜問(wèn)題，并在實(shí)施前制定解決方案。因此，作者將規(guī)劃引入到代碼生成中，以幫助模型更好地理解復(fù)雜意圖并降低問(wèn)題解決的難度。

論文地址：https://arxiv.org/pdf/2303.06689.pdf

本文提出了一種結(jié)合大型語(yǔ)言模型的自我規(guī)劃（self-planning）代碼生成方法，它由兩個(gè)階段組成，即規(guī)劃階段和實(shí)施階段。具體而言，在規(guī)劃階段，語(yǔ)言模型從 intent 出發(fā)，結(jié)合上下文學(xué)習(xí)（Incontext Learning），規(guī)劃出解決步驟。然后進(jìn)入實(shí)施階段，模型在解決步驟的指導(dǎo)下逐步地生成代碼。

Self-planning 代碼生成在多個(gè)代碼生成數(shù)據(jù)集上進(jìn)行了嚴(yán)格的評(píng)估，結(jié)果表明，與直接利用語(yǔ)言模型進(jìn)行代碼生成的方法相比，Self-planning 具有明顯的優(yōu)勢(shì)，性能提升顯著，凸顯了 self-planning 在代碼生成任務(wù)中的重要價(jià)值。

下面具體介紹一下 self-planning 代碼生成方法。

Self-planning 代碼生成

在規(guī)劃階段，利用 LLM 的能力，通過(guò) Incontext Learning 進(jìn)行自我規(guī)劃。給定一個(gè)提示，由

元組串聯(lián)而成，，其中 表示人類(lèi)的 intent，

表示 plan，表示兩者的串聯(lián)。plan 是對(duì)子問(wèn)題的調(diào)度，它從 intent 中抽象和分解出來(lái)，intent 被設(shè)定為

。在推理過(guò)程中，測(cè)試時(shí) intent 將被添加在提示之后，將被送入 LLMs ，后者將試圖為新的 intent 做規(guī)劃，從而得到測(cè)試時(shí)的 plan。

請(qǐng)注意，這里 是一個(gè)相當(dāng)小的數(shù)字，意味著僅通過(guò)注釋幾個(gè)演示規(guī)劃的例子就可以實(shí)現(xiàn)自我規(guī)劃。

在實(shí)施階段，將 plan附加到 intent  上，作為模型 的輸入，得到最終代碼 。

以上兩個(gè)階段可以被形式化為下列公式：

通過(guò)條件獨(dú)立假設(shè)進(jìn)一步簡(jiǎn)化

，因此：

下面通過(guò)演示示例進(jìn)一步理解這個(gè)過(guò)程。

在 planning 階段，人類(lèi)提供了一個(gè) intent，即 “找到第 n 個(gè)斐波那契數(shù)，并且它也是素?cái)?shù)”。可以看出 LLM 能夠從 intent 中抽象出兩個(gè)子問(wèn)題，即 “生成斐波那契數(shù)列” 和 “確定一個(gè)數(shù)字是否為素?cái)?shù)”，并規(guī)劃四個(gè)步驟來(lái)組合解決這些子問(wèn)題。

然后進(jìn)入實(shí)施階段，作者將 plan 附加到 intent 中，然后喂給 LLM。LLM 在步驟的導(dǎo)航下生成代碼，而且它還能夠?qū)?"判斷是否是素?cái)?shù)" 包裝成一個(gè)子函數(shù)并正確調(diào)用它。

如果將這個(gè) intent 直接交給 LLM 生成代碼，LLM 無(wú)法理解 intent 是多個(gè)問(wèn)題的組合；它知道要寫(xiě)一些關(guān)于 "素?cái)?shù)" 和 "斐波那契" 的內(nèi)容，但實(shí)際上它生成了一些混亂的代碼，即它列舉了前五個(gè)正確的樣本，然后計(jì)算斐波那契數(shù)，完全忽略了檢查是否是素?cái)?shù)的要求。

實(shí)驗(yàn)結(jié)果

在代碼測(cè)試通過(guò)率指標(biāo)下，相比與直接生成，self-planning 達(dá)到了 10.9% 到 26.7% 的相對(duì)提升。相比之下，CoT 的提升沒(méi)有 self-planning 大，這里CoT 的定義是具體的推理步驟，CoT 的抽象程度與被視為人類(lèi)思維抽象的代碼相當(dāng)，所以生成一個(gè)準(zhǔn)確和足夠詳細(xì)的 CoT 的難度幾乎與直接生成代碼的難度相當(dāng)。

最后作者通過(guò)提供 ground-truth code 來(lái)生成了一些 ground-truth planning，使用 ground-truth planning 來(lái)生成代碼的相對(duì)提升超過(guò) 30%，這個(gè)結(jié)果大約是 self-planning 的一個(gè)上限（實(shí)際上是偏小的），但也說(shuō)明了 planning 的方法是非常有潛力的。

為了驗(yàn)證 self-planning 方法的有效性，作者進(jìn)行了定性評(píng)價(jià)的案例研究。如下圖三個(gè)案例證明了 self-planning 和直接代碼生成的性能。

在案例 1 中，LLM 的任務(wù)是 "給定一個(gè)整數(shù)數(shù)組 nums，找到 nums 的任何非空子數(shù)組的最小和"。LLM 直接生成的代碼只考慮了子數(shù)組中的一個(gè)子集，而 self-planning 代碼生成則確保沒(méi)有一個(gè)子集被忽略。

在案例 2 中，LLM 的任務(wù)是 “接收一個(gè)整數(shù)作為輸入并返回這個(gè)整數(shù)的特殊階乘.”，利用 LLM 直接生成的代碼，只是以遞歸的方式實(shí)現(xiàn)了標(biāo)準(zhǔn)階乘，忽略了特殊階乘的定義。相反，self-planning 代碼生成通過(guò)使用子函數(shù)來(lái)實(shí)現(xiàn)標(biāo)準(zhǔn)階乘，然后調(diào)用這個(gè)子函數(shù)來(lái)構(gòu)造特殊階乘。

在案例 3 中，LLM 的任務(wù)是 “給定三角形三條邊的長(zhǎng)度，返回該三角形是否為直角三角形”。self-planning 代碼生成更全面，因?yàn)樗ㄟ^(guò)應(yīng)用勾股定理來(lái)計(jì)算不同邊的斜邊，而直接生成代碼只考慮單一判斷直角三角形的情況。此外，此方法還測(cè)試了了輸入的邊是否形成了一個(gè)三角形。

總之，在這些案例中，直接生成代碼方法只解決了用戶 intent 的一個(gè)有限方面，這往往會(huì)導(dǎo)致生成不正確的代碼。相比之下，self-planning 的代碼生成方法首先將 intent 轉(zhuǎn)換為 plan，然后系統(tǒng)地解決 plan 的每一個(gè)解決步驟，降低了代碼生成的復(fù)雜性，往往能夠產(chǎn)生更全面的細(xì)致的程序。

結(jié)論

本文研究了基于規(guī)劃的代碼生成方法，并提出了一種使用大型語(yǔ)言模型（LLM）進(jìn)行 self-planning 來(lái)生成代碼的簡(jiǎn)潔方案。在多個(gè)代碼生成數(shù)據(jù)集上，self-planning 代碼生成的性能明顯優(yōu)于直接生成的方法。總之，規(guī)劃是一種非常有潛力的處理復(fù)雜性的方法。

論文 2：Self-collaboration Code Generation via ChatGPT

大型語(yǔ)言模型（LLMs）在多項(xiàng)任務(wù)上的表現(xiàn)已經(jīng)非常接近人類(lèi)的水平，是否能讓大型語(yǔ)言模型像人類(lèi)一樣組成團(tuán)隊(duì)合作完成更加復(fù)雜的任務(wù)？第二篇文章介紹了一種 self-collaboration 的技術(shù)，通過(guò)角色指令讓多個(gè)大型語(yǔ)言模型扮演不同的角色組成軟件開(kāi)發(fā)團(tuán)隊(duì)，在無(wú)需人類(lèi)參與的情況下以合作和交互的方式完成代碼生成任務(wù)。

論文地址：https://arxiv.org/pdf/2304.07590.pdf

代碼生成被廣泛認(rèn)為是提高軟件開(kāi)發(fā)自動(dòng)化和最終質(zhì)量的關(guān)鍵技術(shù)。然而，現(xiàn)有的代碼生成方法通常集中在軟件開(kāi)發(fā)過(guò)程的單個(gè)階段（即編碼階段），而沒(méi)有考慮對(duì)降低復(fù)雜性和確保質(zhì)量保證至關(guān)重要的其他階段。軟件開(kāi)發(fā)中多個(gè)階段的組織和實(shí)施需要團(tuán)隊(duì)合作。 

為此，本文提出了一種使用大型語(yǔ)言模型 (簡(jiǎn)稱為：大模型) 進(jìn)行代碼生成的 self-collaboration 框架。具體來(lái)說(shuō)，大模型通過(guò)角色指令扮演不同的角色組成團(tuán)隊(duì)，在無(wú)需人參與的情況下以合作和交互的方式處理代碼生成任務(wù)。根據(jù) self-collaboration 框架，作者組建了一個(gè)由三位 ChatGPT 扮演角色（分析師、程序員和測(cè)試員）組成的初等團(tuán)隊(duì)，分別負(fù)責(zé)軟件開(kāi)發(fā)的分析、編碼和測(cè)試階段。實(shí)驗(yàn)結(jié)果表明，與直接利用大模型代碼生成相比，self-collaboration 代碼生成的相對(duì)性能提高了 29.9%-47.1%，達(dá)到了最先進(jìn)的性能，甚至超越了 GPT-4。

本文所提的方法通過(guò)將軟件開(kāi)發(fā)的多個(gè)階段與代碼生成結(jié)合，旨在提高最終代碼的質(zhì)量和可維護(hù)性。通過(guò)利用 ChatGPT 等 LLMs 的潛力，可以為模型間合作和交互提供更強(qiáng)大的支持，從而促進(jìn)虛擬團(tuán)隊(duì)在處理復(fù)雜軟件開(kāi)發(fā)任務(wù)方面的成功。這種多階段、模型堆疊的自合作框架為自動(dòng)代碼生成提供了一種新的、更高效的方法，有助于推動(dòng)軟件開(kāi)發(fā)領(lǐng)域的創(chuàng)新和進(jìn)步。此外，這項(xiàng)工作還可以作為未來(lái)研究各個(gè)領(lǐng)域的自我合作方法以及開(kāi)發(fā)更先進(jìn)、更專業(yè)的虛擬團(tuán)隊(duì)來(lái)處理更復(fù)雜任務(wù)的基礎(chǔ)。

下面具體介紹一下 Self-collaboration 框架以及在該框架基礎(chǔ)上按照軟件開(kāi)發(fā)方法論組建虛擬團(tuán)隊(duì)的實(shí)例。

Self-collaboration 框架

給定需求，利用大模型執(zhí)行 Self-collaboration 以生成輸出 y。該任務(wù)定義為。Self-collaboration 框架由兩部分組成：分工和合作。

在分工部分，作者運(yùn)用先驗(yàn)知識(shí)將復(fù)雜任務(wù)分解為一系列階段 并構(gòu)建一些不同的角色，這些角色基于大模型和角色指令。每個(gè)角色 負(fù)責(zé)一個(gè)或多個(gè)階段 。

眾所周知，大模型對(duì)上下文非常敏感，因?yàn)樗鼈冊(cè)谟?xùn)練時(shí)，被要求根據(jù)前面的文字預(yù)測(cè)后續(xù)文字。因此，一種廣泛使用的方式是通過(guò)指令或提示來(lái)控制大模型的生成。作者采用特定類(lèi)型的指令為大模型分配身份和職責(zé)，被稱為角色指令。具體來(lái)說(shuō)，作者要求大模型扮演與其職責(zé)緊密相關(guān)的特定角色并且傳達(dá)這個(gè)角色應(yīng)該執(zhí)行的詳細(xì)任務(wù)。

使用角色指令的優(yōu)勢(shì)在于它們僅需要在交互開(kāi)始時(shí)被提供一次。在隨后的交互中，傳達(dá)的只是意圖，而不是指令和意圖的組合。因此，角色指令提升了后續(xù)溝通合作的整體效率和清晰度。

在合作部分，作者關(guān)注于促進(jìn)在 self-collaboration 框架內(nèi)承擔(dān)不同角色的大模型之間的有效交互。每個(gè)大模型在其指定角色指令的指導(dǎo)下，通履行其分配的職責(zé)為整體任務(wù)做出貢獻(xiàn)。隨著階段的進(jìn)展，大模型與其他大模型交流他們的輸出，交互信息并輸出。

利用角色指令，可以有效控制大模型的輸出格式。結(jié)合語(yǔ)言模型的基礎(chǔ)方面，這可以初步建立大模型之間的通信。

合作部分可以形式化為：

其中是階段的輸出，表示 前提階段的輸出，表示對(duì)應(yīng)的角色。請(qǐng)注意，如果階段 

 之間的關(guān)系不是線性關(guān)系，self-collaboration 框架可以并行化。計(jì)算被視為合作，其中角色 與每個(gè)前面階段的角色合作生成。輸出隨著階段 的進(jìn)展迭代更新：

其中 是一個(gè)更新函數(shù)。 完成后，得到最終輸出。為了促進(jìn)有效合作，作者建立了一個(gè)消息共享池，每個(gè)角色從中獲取所需的信息以完成各自的任務(wù)  。算法 1 給出了 self-collaboration 框架的完整算法。

實(shí)例化

為了實(shí)例化 Self-collaboration 框架，作者將軟件開(kāi)發(fā)方法論中的經(jīng)典瀑布模型引入到 Self-collaboration 代碼生成中。根據(jù)瀑布模型，軟件開(kāi)發(fā)是一個(gè)多階段過(guò)程，其中一系列階段依次進(jìn)行。作者選擇了三個(gè)階段應(yīng)用于代碼生成，分別是：分析、編碼和測(cè)試階段。該過(guò)程從一個(gè)階段流向下一個(gè)階段，如果發(fā)現(xiàn)問(wèn)題，則返回到上一個(gè)階段進(jìn)行修改。為此，作者建立了一個(gè)初等的三人團(tuán)隊(duì)來(lái)生成代碼，由分析師、程序員和測(cè)試人員組成，負(fù)責(zé)分析、編碼和測(cè)試階段，如圖 1（右）所示。具體來(lái)說(shuō)，作者使用 ChatGPT 的角色指令來(lái)扮演以下角色：

分析師：分析師的目標(biāo)是制定高層次的 plan 并專注于指導(dǎo)程序員編寫(xiě)程序，而不是深入研究實(shí)現(xiàn)細(xì)節(jié)。給定需求，分析師將分解為幾個(gè)易于解決的子任務(wù)，以方便程序員直接實(shí)施，并制定概述實(shí)施主要步驟的 plan。

程序員：作為該團(tuán)隊(duì)的核心角色，程序員將在整個(gè)開(kāi)發(fā)過(guò)程中接收來(lái)自分析師的 plan 或來(lái)自測(cè)試人員的測(cè)試報(bào)告。因此，作者通過(guò)角色說(shuō)明將兩項(xiàng)主要職責(zé)分配給程序員：1. 編寫(xiě)滿足指定要求的代碼，遵守分析師提供的 plan。2. 修復(fù)或細(xì)化代碼，考慮到測(cè)試人員反饋的測(cè)試報(bào)告反饋。編碼器角色指令的詳細(xì)信息如圖 2 所示。

測(cè)試員：測(cè)試人員獲取程序員編寫(xiě)的代碼，隨后記錄包含各個(gè)方面的測(cè)試報(bào)告，例如功能性、可讀性和可維護(hù)性。與直接生成測(cè)試用例相比，作者認(rèn)為生成測(cè)試報(bào)告更符合語(yǔ)言模型的傾向，無(wú)論是交流的輸入端還是輸出端。

作者僅在階段編碼時(shí)更新輸出，并且此開(kāi)發(fā)過(guò)程在測(cè)試人員確認(rèn)  滿足要求時(shí)結(jié)束。

實(shí)驗(yàn)結(jié)果

作者將 self-collaboration 代碼生成與各種最先進(jìn)（SOTA）方法進(jìn)行比較，實(shí)驗(yàn)結(jié)果表明，self-collaboration 框架顯著提高了基礎(chǔ)大模型的性能。值得注意的是，即使是一個(gè)簡(jiǎn)單的三人團(tuán)隊(duì)（包括分析師、程序員和測(cè)試員），基于 ChatGPT (GPT-3.5) 的 self-collaboration 代碼生成在四個(gè)代碼生成基準(zhǔn)測(cè)試中也取得了最佳性能，甚至超過(guò)了 GPT-4。與 ChatGPT (GPT-3.5) 相比，self-collaboration 框架提供的改進(jìn)是巨大的，相對(duì)增幅從 29.9% 到 34.6% 不等。

值得注意的是，self-collaboration 代碼生成對(duì)與擴(kuò)展測(cè)試用例相關(guān)的數(shù)據(jù)集（即 HumanEval-ET 和 MBPP-ET）產(chǎn)生了更顯著的改進(jìn)。這表明 self-collaboration 可以有效地幫助基礎(chǔ)大模型生成更高質(zhì)量的代碼。這種增強(qiáng)可能歸因于合作團(tuán)隊(duì)可以考慮更廣泛的邊界條件和解決常見(jiàn)錯(cuò)誤的能力。考慮到基礎(chǔ)大模型本身的差距，將 self-collaboration 框架應(yīng)用于更強(qiáng)大的模型，例如 GPT-4，將產(chǎn)生更好的結(jié)果。

作者進(jìn)一步研究了僅使用自然語(yǔ)言描述的代碼生成，這種設(shè)置更貼近實(shí)際的軟件開(kāi)發(fā)。在此設(shè)置下，作者比較了由 self-collaboration 框架實(shí)例化的初等團(tuán)隊(duì)中每個(gè) ChatGPT 角色的表現(xiàn)，如表 2 所示。

實(shí)驗(yàn)結(jié)果表明，與僅使用程序員角色相比，無(wú)論是二位角色還是三位角色組建的團(tuán)隊(duì)，性能都有顯著提高。程序員 - 分析師 - 測(cè)試員團(tuán)隊(duì)在 HumanEval 和 HumanEval-ET 基準(zhǔn)測(cè)試中取得了最好的成績(jī)，相對(duì)改進(jìn)分別為 40.8% 和 47.1%。相比之下，編碼器 - 測(cè)試員團(tuán)隊(duì)在 MBPP 和 MBPP-ET 基準(zhǔn)測(cè)試中獲得了最高性能，相對(duì)改進(jìn)分別為 36.7% 和 39.4%。分析師在 MBPP 和 MBPP-ET 基準(zhǔn)上的表現(xiàn)不佳可能是由于 MBPP 的要求相對(duì)簡(jiǎn)單，所以對(duì)規(guī)劃較少（但是隨著問(wèn)題的復(fù)雜化，規(guī)劃是不可或缺的一部分）。此外，MBPP 中各種任務(wù)的大量測(cè)試用例偏離了人類(lèi)典型的書(shū)寫(xiě)習(xí)慣和推理過(guò)程，例如程序返回不常用的數(shù)據(jù)格式而而沒(méi)有任何自然語(yǔ)言提示。因此，作者認(rèn)為應(yīng)該定制特定任務(wù)的團(tuán)隊(duì)以實(shí)現(xiàn)最佳結(jié)果。

此外，作者展示了一個(gè) self-collaboration 代碼生成示例，如圖 3 所示。

1. 分析師進(jìn)行全面分析并制定 plan 以解決整體需求。對(duì)于這個(gè)需求，分析師首先將其拆分為幾個(gè)易于解決的子任務(wù)，然后根據(jù)子任務(wù)給出一些高層次的 plan。

2. 程序員根據(jù)給定的要求以及設(shè)計(jì)的拆分和高層次 plan 實(shí)現(xiàn)代碼。顯而易見(jiàn)，已實(shí)現(xiàn)代碼中的每個(gè)子模塊都與拆分和高層次 plan 幾乎一一對(duì)應(yīng)。

3. 測(cè)試員為實(shí)現(xiàn)的代碼編寫(xiě)詳細(xì)的測(cè)試報(bào)告，找出其中的錯(cuò)誤。在這份測(cè)試報(bào)告中，測(cè)試人員指出所實(shí)現(xiàn)的代碼可能會(huì)導(dǎo)致從列表中刪除重復(fù)元素，從而可能導(dǎo)致某些邊緣測(cè)試用例失敗。因此，建議從實(shí)現(xiàn)的代碼中刪除行 “l(fā)st = list (set (lst))”。

4. 程序員隨后根據(jù)測(cè)試報(bào)告中提供的反饋完善了代碼。在編碼器提供的修改后的代碼中，整合了測(cè)試報(bào)告中的建議，并同時(shí)刪除了 “l(fā)st = list (set (lst))” 行。

5. 測(cè)試員評(píng)估修改后的代碼，確認(rèn)沒(méi)有任何問(wèn)題，至此代碼生成過(guò)程結(jié)束。在最后一次交互中，測(cè)試員確認(rèn)修改后的代碼已經(jīng)通過(guò)所有測(cè)試，滿足要求。

總之，self-collaboration 框架在代碼生成任務(wù)中表現(xiàn)出顯著的性能提升，與單一角色相比，多角色團(tuán)隊(duì)能夠更有效地處理各種問(wèn)題和挑戰(zhàn)。這種方法為自然語(yǔ)言處理和代碼生成領(lǐng)域提供了新的研究方向，值得進(jìn)一步探討和優(yōu)化。未來(lái)的工作可能包括對(duì)更多角色和更強(qiáng)大模型的探索，以及將 self-collaboration 框架應(yīng)用于其他自然語(yǔ)言處理任務(wù)。

結(jié)論

在本文中，作者提出了一種 self-collaboration 框架，其目的是通過(guò)合作和交互方法來(lái)增強(qiáng)大模型的問(wèn)題解決能力。具體而言，作者探索了 ChatGPT 在促進(jìn)基于團(tuán)隊(duì)的代碼生成和合作方面的軟件開(kāi)發(fā)過(guò)程中的潛力。為此，作者組建了一個(gè)由三個(gè)不同的 ChatGPT 角色組成的初等團(tuán)隊(duì)，目的是全面解決代碼生成任務(wù)。為了評(píng)估 self-collaboration 框架的有效性和泛化性能，作者針對(duì)各種代碼生成基準(zhǔn)進(jìn)行了廣泛實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果提供了大量證據(jù)支持 self-collaboration 框架的有效性和普適性。作者認(rèn)為，使模型能夠組建自己的團(tuán)隊(duì)并合作完成復(fù)雜任務(wù)是實(shí)現(xiàn)人工通用智能（AGI）的關(guān)鍵一步。