全球最強AI程序員：GPT-4o加持，需求到跑通只需84秒

2024-08-14 09:13:28

本周，一家 Y Combinator 支持，名為 Cosine 的創業公司宣布推出自己的全新自主 AI 工程師 Genie。該公司表示，Genie 的表現輕松超越了 Devin，在第三方基準測試 SWE-Bench 上的得分為 30%，而 Devin 的得分僅為 13.8%。

大模型正在「替代人類程序員」的道路上快速前進。

今年 3 月，人工智能軟件工程師 Devin 引爆了 AI 社區，該產品由 OpenAI 的 GPT-4 基礎大型語言模型（LLM）提供支持，可以在收到自然語言文本指令后自主編寫和編輯代碼。

但在生成式 AI 領域，快速發展是主旋律，現在技術又迭代了。

新工具甚至超過了亞馬遜的 Q 和 Factory 的 Code Droid 的 19%，現在是全球性能最好的 AI 程序員。

Genie 在 SWE-Bench 基準上的表現，以及與其他 AI 代碼模型的比較。

「這個模型遠不止是一個基準跑分而已：它是以像人類 SWE（軟件工程師）一樣思考和行動為目標從頭開始訓練的，」Cosine 的聯合創始人兼首席執行官 Alistair Pullen 表示。

作為一種先進的 AI 軟件工程模型，Genie 可以按照人類工程師的指示自主處理各種編碼任務，包括 bug 修復、功能構建、代碼重構、代碼測試等。

Genie 可以完全自主運行，也可以與用戶協作完成任務。

它支持多種編程語言，在技術報告中顯示，其中包括 JavaScript、Python、TypeScript、TSX、Java、C#、C++、C、Rust、Scala、Kotlin、Swift、Golang、PHP、Ruby。

Cosine 聲稱 Genie 可以模擬人類工程師的認知過程。「讓它觀察人類工程師是如何工作的，并模仿這個過程。」Alistair Pullen 表示。

一直以來，安全問題是大家比較關心的，Genie 生成的代碼存儲在用戶的 GitHub 倉庫中，因而 Cosine 不會保留代碼副本，從而避免了隨之而來的安全風險。

此外，Cosine 的軟件平臺已經集成了 Slack 和系統通知，它就像一位 AI 同事，提醒用戶狀態或標記 issues。

Alistair Pullen 演示了如何使用 Genie 來解決實際問題。目標是 GitHub 上的一個 issue，我們只需要直接往里丟鏈接，AI 會自動分析問題，自動開始思考解決這個問題需要用到哪些文件，一直到滿足要求為止。

然后，Genie 會開始嘗試將問題分解成很多解決步驟，隨后生成代碼。

接著就是跑代碼了，如果生成的代碼有問題，它就自動尋找出問題的地方進行分析、修改，然后再嘗試運行。

最后輸出結果：兩個文件、17 次測試，僅用時 84 秒。

這不知道比人類程序員要快上多少倍了。

與許多依賴基礎模型并輔以少量工具的 AI 模型不同，Genie 是通過專有流程開發的。

就模型而言，Genie 基于（目前）非通用的 GPT-4o 變體構建而成，OpenAI 允許 Cosine 將其作為實驗訪問計劃的一部分進行訓練。

通過技術報告我們得知，當研究者開始構建 Genie 之初，他們只能在 16-32k 范圍內微調相對較短的上下文窗口模型。

為了解決這一問題，團隊人員對這些模型進行了大量的早期探索，并在超過 1 億個 token 的大量數據集上對它們進行訓練，雖然發現架構具有一定優勢，但還是面臨模型在特定時間內可以處理的信息量的限制。

在嘗試了各種壓縮 / 分塊方法后，團隊認為唯一的解決方案是使用更大的上下文模型，盡管當時沒有可供使用的模型。

幸運的是，不久之后，能夠確保訓練長上下文的 OpenAI 模型出現了。

Cosine 在其博客文章中表示，他們花了將近一年的時間來整理數據集，在最近的訓練運行中，Genie 接受了數十億個 token 數據的訓練，選擇的數據包含了用戶目前最關心的編程語言。以下是訓練 Genie 的過程中不同編程語言數據所占的比例：

以下是 Bug 修復、重構等不同功能的數據占比：

在價格方面，據 Pullen 透漏， Genie 最初定價將分為兩個層級：

Genie 的推出對軟件開發團隊具有深遠的影響，特別是那些希望提高生產力并減少花在日常任務上的時間的團隊。憑借其自主處理復雜編程挑戰的能力，Genie 可能會改變工程資源的分配方式，使團隊能夠專注于更具戰略性的計劃。

Pullen 表示，對于他來說，工程資源不再成為限制是一個巨大的推動力，特別是在創辦公司以來。他認為，一個能夠快速進入未知代碼庫并解決未見過的問題的 AI 同事，其價值顯而易見，并且對世界有著巨大的影響。

未來，該公司打算擴大其模型組合，包括用于簡單任務的小模型和能夠處理更復雜挑戰的大模型。此外，Cosine 還計劃將其工作拓展到開源社區。

現在 Genie 已向部分用戶推出，但更廣泛的訪問權限還未完全開放。

申請地址：https://cosine.sh/register

提出 Genie 的創業公司 Cosine 由 Pullen、Sam Stenner 和 Yang Li 于 2022 年創立，其使命是通過應用人類推理的方式來解決復雜問題，從而突破 AI 的界限。顯然，他們的努力是從軟件工程開始。

其中，Yang Li 是一名華人，他碩士畢業于牛津大學，在 2021 年曾入選過福布斯 30 Under 30 歐洲區名單。

Cosine 已經從 Uphonest 和 SOMA Capital 籌集了 250 萬美元的種子資金，Lakestar、Focal 等公司也參與其中。

團隊規模雖小，但 Cosine 已經在 AI 領域取得了重大進展，而 Genie 只是一個開始。

「我們堅信能夠為任何工作和行業構建起人類級別的推理能力，」Pullen 在公告文章中表示。「軟件工程只是最直觀的起點，我們很快將會展示出我們正在研究的其他一切。」

責任編輯：龐桂玉來源：機器之心