8月12日，在掘力計(jì)劃系列第21場《解析大語言模型的訓(xùn)練和應(yīng)用》活動(dòng)中，智譜AI的薛宇飛博士應(yīng)邀作了題為《CodeGeeX：從代碼生成模型到AI編程助手》的技術(shù)分享。

薛宇飛博士是智譜AI大模型事業(yè)部的副總裁，他擁有清華大學(xué)計(jì)算機(jī)系的博士學(xué)位和博士后經(jīng)歷，在人工智能領(lǐng)域有多年的研究和產(chǎn)品經(jīng)驗(yàn)，曾任職于多家頂級(jí)科技公司。這次薛博士以自身團(tuán)隊(duì)在代碼生成模型方面的研究為切入點(diǎn)，詳細(xì)介紹了從訓(xùn)練一個(gè)大規(guī)模的通用代碼生成模型，到落地產(chǎn)品化并開發(fā)IDE插件，最終使廣大開發(fā)者能夠享受到AI編程助手帶來的便利。

背景：編程向更簡單方向發(fā)展

從計(jì)算機(jī)誕生以來，編程工作就在不斷朝著更簡單、更符合人的思維邏輯方向發(fā)展。早期的機(jī)器語言極為復(fù)雜難懂，匯編語言相比機(jī)器語言提高了可讀性和生產(chǎn)效率，然后出現(xiàn)了面向過程和面向?qū)ο蟮母呒?jí)語言，進(jìn)一步降低了編程的門檻。近年來，低代碼平臺(tái)的興起使不專業(yè)的開發(fā)者也能參與軟件開發(fā)，AI輔助代碼生成技術(shù)更是讓自動(dòng)編程成為可能。

自動(dòng)生成代碼的想法隨著人工智能技術(shù)的進(jìn)步也在逐步實(shí)現(xiàn)。早期主要采用基于規(guī)則的方法，2015年第一次有研究將深度學(xué)習(xí)應(yīng)用于代碼生成，取得了一定進(jìn)展。2020年， Transformer 架構(gòu)不僅通過 GPT-3 模型展示它在自然語言生成方面的驚人能力，也開始被應(yīng)用到了代碼生成領(lǐng)域。2021年，OpenAI 推出了規(guī)模達(dá)到百億參數(shù)的 Codex 代碼生成模型，使自動(dòng)代碼生成真正具備實(shí)用性。此后，業(yè)界紛紛推出自己的代碼生成模型和編程助手產(chǎn)品。

CodeGeeX 模型訓(xùn)練

CodeGeeX 項(xiàng)目于2022年1月啟動(dòng)，4月開始正式訓(xùn)練，6月訓(xùn)練完成。訓(xùn)練數(shù)據(jù)主要來源于公開數(shù)據(jù)集和 GitHub 高質(zhì)量代碼。公開數(shù)據(jù)集提供初始訓(xùn)練語料，GitHub 代碼經(jīng)篩選后確保質(zhì)量。第一版 CodeGeeX 支持23種編程語言，其中 Python、C++、Java 的訓(xùn)練代碼量最大。大模型可以從不同語言中學(xué)習(xí)通用邏輯，不需要語言完全均衡。

原始代碼數(shù)據(jù)需要進(jìn)行預(yù)處理。首先對代碼進(jìn)行分詞，然后將每個(gè)詞轉(zhuǎn)換成對應(yīng)的ID，得到模型可直接識(shí)別的格式。此外，每個(gè)代碼片段前加語言標(biāo)識(shí)，讓模型更好地學(xué)習(xí)到不同語言的特性。

CodeGeeX 采用GPT結(jié)構(gòu)，包含40個(gè) Transformer 層，參數(shù)總量達(dá)到130億。基于GPT的生成方式是順序生成，每次根據(jù)前文預(yù)測下一個(gè)詞。訓(xùn)練過程中團(tuán)隊(duì)與華為合作，在華為N騰910 AI處理器上完成。使用FP16精度、數(shù)據(jù)并行和模型并行訓(xùn)練技術(shù)，經(jīng)過兩個(gè)月完成。

訓(xùn)練過程中，CodeGeeX團(tuán)隊(duì)還與華為N思 MindSpore 團(tuán)隊(duì)的工程師一起對訓(xùn)練框架進(jìn)行了優(yōu)化。如通過算子融合等技術(shù)，將訓(xùn)練速度提升了2.5倍；加入流水線并行后，整體效率可提升3倍之多。這些成果為后續(xù)國產(chǎn)芯片的大模型訓(xùn)練帶來借鑒。

模型評測與優(yōu)化

訓(xùn)練完成后，對模型進(jìn)行評測與優(yōu)化才能使其投入實(shí)際使用。由于之前針對多語言代碼生成模型缺乏科學(xué)的評測基準(zhǔn)，團(tuán)隊(duì)基于HumanEval構(gòu)建了HumanEval-X評測基準(zhǔn)，將其從只支持 Python 擴(kuò)展到 C++、Java、JavaScript 和 Go 五種語言，可以更全面地評估模型的多語言生成能力。

評測結(jié)果顯示，CodeGeeX 在 Python 和 Java 上的 Pass@1 指標(biāo)明顯優(yōu)于對手模型，其他語言也有出色表現(xiàn)，是當(dāng)時(shí)綜合表現(xiàn)最優(yōu)的開源多語言代碼生成模型。

為減小模型大小便于實(shí)際部署，團(tuán)隊(duì)使用量化與推理優(yōu)化技術(shù)。最終模型從 27GB 降低到 15GB，推理速度也提升2倍多。基于上述工作，CodeGeeX 能夠在普通 GPU 上流暢運(yùn)行。

AI編程助手應(yīng)用

代碼生成模型完成之后，團(tuán)隊(duì)著手開發(fā) IDE 插件，將模型應(yīng)用到實(shí)際編程過程中。CodeGeeX 插件支持 VS Code 和JetBrains 等主流 IDE。用戶可以利用代碼補(bǔ)全、生成注釋等功能，也可以通過自然語言聊天提問。

代碼補(bǔ)全可以智能提示后續(xù)代碼;語義代碼注釋可自動(dòng)添加詳細(xì)注釋;代碼翻譯可以在多種語言之間轉(zhuǎn)換。這些功能都基于 CodeGeeX 模型或在其基礎(chǔ)上進(jìn)行微調(diào)得到。用戶可以選擇中文或英文注釋。新版模型支持更多語言，如 Kotlin、Vue 等。

CodeGeeX 插件可以自動(dòng)生成復(fù)雜SQL查詢語句，通過公開SQL練習(xí)平臺(tái)的題目，前20題全部正確，最后10題也有很多正確，達(dá)到可助力編程的程度。該插件已經(jīng)累積15萬用戶，日活躍2.5萬，獲得廣大開發(fā)者認(rèn)可。

CodeGeeX 2.0 模型升級(jí)

今年7月團(tuán)隊(duì)推出了第二代模型CodeGeeX2-6B。它 使用 ChatGLM2-6B 作為基底模型，在此基礎(chǔ)上使用代碼數(shù)據(jù)進(jìn)行微調(diào)。這樣一來，新模型規(guī)模減小到6B，但效果顯著提升，如 Python Pass@1 提升57%，已超過參數(shù)規(guī)模更大的 StarCoder 模型。

CodeGeeX2 繼承了 ChatGLM2 的中英文語言理解能力，支持更長的文本序列。此外，支持語言種類從23種提升到上百種。新版模型權(quán)重對學(xué)術(shù)研究完全開放，可在GitHub或Hugging Face上獲取權(quán)重的下載及使用方式。

結(jié)語

綜上所述，CodeGeeX 從一個(gè)編程語言生成模型發(fā)展成一個(gè)可供廣大開發(fā)者使用的AI編程助手，已經(jīng)走過兩年時(shí)間。期間團(tuán)隊(duì)進(jìn)行了模型設(shè)計(jì)、訓(xùn)練、評估、優(yōu)化、產(chǎn)品化等一系列創(chuàng)新性的工作。先使用 GPT 結(jié)構(gòu)訓(xùn)練出百億參數(shù)規(guī)模的通用模型，然后以 ChatGLM 為基礎(chǔ)進(jìn)行調(diào)優(yōu)，使新版模型效果更優(yōu)。在 IDE 插件中集成代碼生成等功能，真正將AI的力量帶入到開發(fā)的日常之中。

當(dāng)前 CodeGeeX 插件已經(jīng)積累大量用戶，也獲得他們的認(rèn)可。團(tuán)隊(duì)將繼續(xù)改進(jìn)產(chǎn)品，以期讓編程對所有人來說都更簡單、更有效率。大模型編程助手正在成為編程發(fā)展的新方向，相信未來必將惠及更多開發(fā)者，提升軟件開發(fā)的生產(chǎn)力。