今天，北京大學軟件工程國家工程研究中心知識計算實驗室聯合四川天府銀行AI實驗室，正式開源70億參數的代碼大模型CodeShell，成為同等規模最強代碼基座。

與此同時，團隊將軟件開發代碼助手的完整解決方案全部開源，人手一個本地化輕量化的智能代碼助手的時代已經來臨！

CodeShell代碼：https://github.com/WisdomShell/codeshell

CodeShell基座模型：https://huggingface.co/WisdomShell/CodeShell-7B

代碼助手VSCode插件：https://github.com/WisdomShell/codeshell-vscode

具體來說，CodeShell-7B基于5000億Tokens進行了冷啟動訓練，上下文窗口長度為8192。

在權威的代碼評估基準（HumanEval和MBPP）上，CodeShell取得同等規模最好的性能，超過了CodeLlama-7B和StarCodeBase-7B。

與此同時，同CodeShell-7B配套的量化與本地部署方案，以及支持VSCode與JetBrains IDE的插件也全部開源，為新一代智能代碼助手提供了輕量高效的全棧開源解決方案。

CodeShell模型和插件的相關代碼已經在Github發布，并嚴格遵循Apache 2.0開源協議，模型在HuggingFace平臺發布，支持商用。

CodeShell：性能最強的7B代碼基座大模型

CodeShell構建了高效的數據治理體系，通過冷啟動預訓練5000億Token，代碼生成性能超過了CodeLlama-7B與StarCoder-7B。

相比而言，CodeLlama在強大的Llama2上繼續預訓練依然學習了超過5000億Token，而StarCoder冷啟動訓練了10000億Token，是CodeShell的兩倍。

CodeShell的原始訓練數據基于自己爬取的Github數據、Stack和StarCoder數據集，以及少量高質量的中英文數據。

通過在數據判重、數據過濾規則、數據質量模型上設計了一套體系化的數據治理流水線，CodeShell構建了高質量的預訓練數據。

CodeShell構建了包含7萬個詞的詞表，中文、英文、代碼的壓縮比分別為2.83、3.29、3.21，支持中英文和代碼的平衡且高效的編解碼。

在更小規模的各種基座架構上進行大量預訓練實驗后，CodeShell架構設計最終融合了StarCoder和Llama兩者的核心特性。

以GPT-2為基礎，采用fill-in-middle（FIM）模式支持代碼特有的補齊生成方法，引入Grouped-Query Attention和ROPE位置編碼，最終形成了CodeShell高性能且易于擴展上下文窗口的獨特架構。

為了獲得最大的分布式訓練效率，Codeshell基于Megatron-LM，在Attention算子優化、數據預處理、數據加載、日志輸出、狀態監控、分布式訓練管理等方面進行了深度定制，支持Flash Attention2加速，訓練吞吐量達到了每GPU每秒3400 Token的業界先進水平。

CodeShell預訓練的上下文窗口為8192。經過5000億Token訓練，CodeShell在humaneval和mbpp兩個主流評測數據集都體現了明顯的優勢。在humaneval的其它編程語言評測中，如JavaScript、Java、C++，CodeShell依然性能領先。

在CodeShell的訓練中團隊發現，通過刻意「刷榜」訓練，可以讓代碼基座評分「虛高」，但是在實際應用和微調中無法體現與分數匹配的潛力。

為了驗證CodeShell預訓練的「純粹性」，團隊采用WizardCoder的Evol-instruction數據構建方法生成微調數據，使用這份數據分別對CodeShell、CodeLlama、StarCoder進行微調，并用WizardCoder提供的Prompt進行統一的HumanEval評估。這一場景下CodeShell依然保持優異性能，充分驗證了CodeShell的真實底座能力。

CodeShell在Hggingface權威的代碼大模型榜單中的表現也極其亮眼！在這份榜單中，各種經過特定優化的代碼基座和微調模型，在HumanEval評分上可以超越CodeLLama，但是體現綜合能力的綜合勝率（Win Rate）與CodeLlama卻依然有很大差距。

令人驚喜的是，CodeShell不僅在HumanEval上霸榜7B模型，綜合勝率與CodeLlama-7B持平。考慮到CodeLlama-7B訓練的Token數量超過兩萬五千億，而CodeShell的數量僅為五分之一，這份榜單充分體現了CodeShell團隊的技術實力。

正在研發中的CodeShell新版本將在強大的代碼能力基礎進一步提升中英文處理能力，綜合能力值得更大的期待。

CodeShell-Chat：功能齊全的代碼助手模型

在CodeShell底座基礎上，團隊面向真實的軟件開發場景，通過高效微調，訓練了支持對話、代碼生成、代碼補齊、代碼注釋、代碼檢查與測試用例生成的全能代碼助手模型CodeShell-Chat。

為此，CodeShell團隊分別構造了數萬條高質量代碼對話數據和代碼補齊數據，設計了基于規則與基于嵌入表示相結合的微調數據篩選方法，構造了多任務一致的微調數據格式，并在基座模型上采用任務分類優化策略進行小規模微調，最終得到了高效實用的代碼助手模型。

為了進一步降低使用門檻，支持輕量級本地部署，團隊針對CodeShell獨有的架構擴展了llama.cpp —— 一個純 C/C++ 實現的LLaMA模型高效推理接口，以支持CodeShell的模型在各種計算架構中的格式轉化、推理運行以及量化部署。

在16G內存的蘋果筆記本上進行推理，響應速率可達每秒18 Token，真實的使用體驗非常流暢。

想象一下，一個在飛行途中的程序員，打開普通的Mac電腦，即可使用性能幾乎無損、僅占4G內存的4-bits量化版本。本地部署不僅保障了數據安全，更是可以隨時隨地使用！

方便易用的CodeShell代碼助手插件

對眾多開發者而言，即便擁有功能強大的代碼助手模型，其應用門檻仍然過高。

為此，CodeShell團隊誠意滿滿地把IDE插件也開源了！

IDE插件目前支持VSCode和IntelliJ IDEA，適用于各種主流編程語言。

在開發過程中，CodeShell代碼助手插件提供了兩種模式，即專注模式和交互模式，兩種模式相互協同，共同提升開發效率。

在專注模式下，通過對當前項目代碼的分析，提供代碼提示與補全功能，從而提高編程效率。

在交互模式下，IDE插件通過向代碼助手大模型發送特定的交互Prompt和用戶輸入，可提供豐富的功能，來看幾個實例。

智能問答：在編程過程中直接向代碼助手模型提出問題，無需切換至其他界面，支持對話與編程兩種場景無縫融合。

代碼解釋：使用自然語言解釋代碼的運行過程，讓開發者更好地理解代碼的結構和邏輯。

安全檢測：檢測代碼中的潛在安全風險，如可能出現的SQL注入、跨站腳本打擊等，幫助排查安全性風險。

其它功能還包括：

自動添加注釋——為代碼自動生成描述其功能、參數及返回值等相關信息的注釋；

代碼優化與審計——對代碼進行深入分析，檢測潛在的錯誤、冗余代碼和性能瓶頸，并為開發者提供相應的修復建議；

代碼格式檢查——自動檢測代碼的排版和格式問題，發現潛在的不規范現象；

性能評估——對代碼的性能風險進行評估，發現潛在的性能瓶頸，為優化代碼性能提供支持；

測試用例生成——基于代碼邏輯，自動創建測試用例，以輔助進行代碼測試和驗證，確保代碼的正確性和穩定性。

開發者下載模型，在本地做簡單操作和配置，即可馬上體驗。

全面的代碼能力自動評估工具

CodeShell團隊同時發布了一個針對代碼助手能力的統一評估基準，近期將開源并公開論文，加入到CodeShell的開源「全家桶」中。

在大模型評測上，CodeShell團隊底蘊深厚，團隊此前曾經發布過通用大模型對話能力的自動評估工具PandaLM。

開源地址：https://github.com/WeOpenML/PandaLM

CodeShell團隊在模型訓練中發現，現有的評估基準無法準確反映其真實能力，其面臨的問題包括試題難度較低、評估場景與實際開發環境脫節等，同時評估基準提供的任務上下文信息也非常有限，導致代碼大模型評估者難以進行深入分析。

為此，CodeShell團隊提出了一個包含完整程序上下文的多任務編程模型評估基準CodeShell-UCB（Unified Code Bench）。

CodeShell-UCB的評估任務提供了完整的程序上下文信息，包括完整的真實項目代碼、運行環境和執行腳本。

CodeShell-UCB通過執行程序分析、規則篩選、人工篩選，提煉出了代碼助手任務試題，并提供了一套統一的編譯、運行、測試環境。

CodeShell-UCB的五個評測任務位覆蓋了軟件開發的重要場景：

1. 代碼生成：關注如何自動生成優質、符合要求的代碼片段。CodeShell-UCB包含了235個單函數代碼生成試題。

2. 基于被測代碼的測試用例生成：關注如何基于特定的被測代碼自動生成有效、全面的測試用例。CodeShell-UCB包含了139個基于被測代碼的測試用例生成試題。

3. 基于問題報告的測試用例生成：當存在錯誤報告時，快速并精確地創建出相應的測試用例，不僅可以幫助快速定位、修復問題，同時也可以提高回歸測試的效率。CodeShell-UCB包含了58個基于問題報告的測試用例生成試題。

4. 缺陷檢測：自動化的缺陷檢測能夠大幅度提高開發效率并且減少人為疏漏造成的錯誤。CodeShell-UCB包含了956個檢測樣本的標簽平衡缺陷檢測試題。

5. 缺陷修復：一旦缺陷被檢測出，如何對其進行有效的修復也是一個復雜且重要的任務。CodeShell-UCB包含了478個單函數缺陷代碼的缺陷修復試題。

這五個任務提供了一個全面深入的評估方案，支持不同軟件開發場景下檢驗和評估代碼大模型的能力。

同時，CodeShell-UCB推理框架具有較高的通用性，涵蓋了本地Huggingface模型的推理、本地Text-Generation-Inference的加速推理，以及使用閉源API（如OpenAI API、Claude API）的推理。

生成的代碼隨后會在CodeShell-UCB執行器中運行和評估，提供了包括編譯成功率、Pass@K、Pass@T以及測試覆蓋率在內的多樣化、多維度的評估指標。

下表展示了代碼助手CodeShell-Chat和在WizardCoder的對比。

盡管WizardCoder通過在CodeLlama上精心微調獲得了很高的HumanEval分數，但是在更加綜合全面的測試基準下，CodeShell-Chat各種編碼任務下具有明顯的優勢，更適合軟件開發的實際場景。

CodeShell-UCG評估基準既可以用于評估模型的編程能力，也可以用于評估各種不同的Prompt設計策略，研究者可以在CodeShell-UCB的基礎上進行數據與任務的擴展并展開更細致的模型分析。

北京大學軟件工程國家工程研究中心知識計算實驗室（張世琨、葉蔚課題組）長期關注軟件工程與人工智能交叉領域，聚焦程序語言與自然語言的語義理解與交互問題，在打造CodeShell的過程中建立了一支大模型精英團隊，覆蓋基座預訓練、基礎設施優化、數據治理、模型微調與對齊、模型評估、模型量化與部署等核心環節與任務，近期將推出更加重磅的模型與產品，敬請期待！