從 100 萬美元到 5 億美元營收僅用了 17 個月！

更厲害的是，他們從未有過客戶流失，凈收入留存率超過 1600%，年營收已經穩定在九位數的水平。

而這家公司的CEO兼聯合創始人，Brendan Foody，更是美國的新一代的傳奇人物。在 22 歲時，他也成為史上最年輕的美國獨角獸創始人。

如果你沒聽過這家公司，不打緊，但你要是知道下面這個信息，相信你肯定會感興趣：

Mercor 與“七巨頭”中的 6 家，以及所有前五大 AI 實驗室（OpenAI、Anthropic、xAI等）合作，幫助他們招聘專家來創建評測與訓練數據，從而提升模型能力。

沒錯，這些頂尖的美國AI巨頭，全部都從這家公司來招聘頂尖的后訓練專家！

近日，Brendan 做客了 Lenny 的播客訪談，更是透露出大洋彼岸的AI最新進展。

在這場對話中，Brendan 解釋了為什么 evals（評測）已經成為 AI 進展的關鍵瓶頸，他是如何發現這一巨大機會的，以及在 AI 驅動的經濟中未來的工作可能會是什么樣子。

在求職招聘方面，Brendan 特別提到：一定要關注有“需求彈性”的工作，即當生產力提高時，需求也會隨之大幅增加的工作，比如：軟件/設計/用戶研究。

所以，從事coding的老鐵們可以放心了，但需要注意的是：現在必須要使用AI來 VibeCoding 了。

此外，對于如此高增速的公司而言，作為CEO也提到了“996”高強度的工作。 不過最重要的是，can-do的價值觀。“行動比想法重要！”

大模型已經進入Evals時代，未來3年，ASI（超級智能）為時尚早！這是他對美國硅谷各家頂尖大模型實驗室的洞察。

“實現這一切的關鍵不在于‘再多10倍的預訓練數據’，而在于更高效、更精心設計的后訓練數據集。”

以下是整理的對話全文，原汁原味，各位自行收藏細讀，enjoy：

主持人：今天的嘉賓是 Mercor 的 CEO 和聯合創始人 Brendan Foodie。Mercor 是歷史上增長最快的公司，從零到 5 億美元營收只用了 17 個月，不到一年半。Brendan 也是史上最年輕的獨角獸創始人。他們剛剛完成了一筆 1 億美元融資，公司估值達到 20 億美元。如果你還沒聽說過 Mercor，它的業務是幫助 AI 實驗室和 AI 公司招聘專家，用 AI 協助訓練他們的模型。他們從未有過客戶流失，凈收入留存率超過 1600%，年營收已經穩定在九位數的水平。

在今天的對話中，我們會聊到 evals（評測）的價值和重要性正在快速上升，像 Mercor 這樣的 AI 訓練公司在整個版圖中的位置，以及它們為什么如此重要和有價值。我們會談到 Brendan 是如何發現這個機會的，他對產品市場契合的洞見，他在組織內部建立的核心原則如何幫助他打造了史上增長最快的公司。我們還會討論：為實驗室撰寫 evals 的人每天到底在做什么；在 AI 崛起的浪潮里，哪些技能和崗位能存續得更久；他為什么認為我們短期內不會看到 AGI 或超級智能；以及更多話題。這期節目非常精彩，你一定要聽。

主持人：Brendan，非常感謝你今天能來。歡迎來到節目。

Brendan Foody：非常感謝邀請我，Lenny。我是你的超級粉絲，很期待這次對話。

主持人：我也很期待，能和你聊聊真是太棒了。我本人也是你的粉絲，希望有更多人了解你和你正在做的事情。

大模型進入evals時代

主持人：我想從你置頂在推特上的一條推文開始。內容是：我們現在已經與“七巨頭”中的六家合作，和所有前五大 AI 實驗室合作，以及大多數 AI 應用層公司。

主持人：有一個趨勢在所有客戶身上都很普遍：我們正進入 evals 時代。這讓我特別注意，因為這是這個播客里反復被提到的主題。大家都在談 evals 的價值，以及做好 evals 的重要性。但很多人其實還不太清楚我們在說什么，為什么這件事如此關鍵。你覺得人們還缺失了什么？他們需要知道哪些東西？evals 時代意味著什么？

Brendan Foody：如果說模型就是產品，那么 evals 就是產品需求文檔（PRD）。研究人員的日常工作就是跑幾十個實驗，在 eval 數據集上做一些小的改進。

強化學習正在變得非常有效。一旦有了 eval，就能幫助模型“攀升”。比如你看奧賽數學（Olympiad math），一旦大家集中攻克，很快就飽和了；Sweebench 也是一樣。所以某種意義上，把代理（agents）應用到整個經濟、自動化所有工作流的真正瓶頸是：我們如何衡量成功？如何寫 eval，如何寫代理要做的一切事情的 PRD？而 Mercor 顯然在這里扮演著核心角色。

如何做好evals？大家更關心實際能力

主持人：聽到這，很多人可能會覺得，“好吧，我得認真關注 eval 了。”你有什么建議嗎？比如怎么學會做好這件事？那些做得好的公司和其他公司有什么不同？

Brendan Foody：我覺得對企業來說，核心思路是：如何建立一個測試體系，系統化地衡量 AI 在自動化其核心價值鏈上的效果？比如一家建筑事務所，最終交付給客戶的是建筑設計圖，那他們怎么有效衡量 AI 在這方面的表現？每家公司都有自己獨特的價值鏈，如果是多產品公司可能有幾條。思考如何衡量這些價值鏈，是企業有效應用 AI 的前提。

主持人：我看到你在 No Priority 播客上和 Sarah、Elad 聊過這個話題。Sarah 還發推說“evals = 你的新營銷”。這是什么意思？你怎么看？

Brendan Foody：是的，這和我剛才說的有聯系。如果模型是產品，那么 evals 既是 PRD，也是銷售資料。evals 不僅告訴研究人員應該構建什么，還能向外展示能力的效果。過去大家都引用學術評測，比如 GPQA、humanities last exam、奧賽數學。但現在，大家更關心實際能力，比如模型能否自動化搭建軟件平臺，能否自動化投行分析。我認為無論是實驗室還是應用層公司，都將越來越依賴 evals 來展示他們的模型和產品能力。

幫大模型公司招聘專家，狂賺4億刀，為什么？

主持人：好，那我們放大一點，聊聊你所在市場的格局。我在準備時注意到，歷史上增長最快的公司大概分三類：一類是基礎模型公司；一類是 vibe coding 應用（比如 Cursor、Lovable、Bolt、Replit 等 V0 公司）；第三類就是數據標注公司，比如你們。之前我邀請過 Handshake 的 CEO，接下來會有 Scale 的 CEO，還有 Surge，再加上你們。能幫我們理清一下這整個版圖嗎？很多人其實并不清楚。

Brendan Foody：好的。我先講一點起源故事，來解釋這個格局。我們創始團隊在 14 歲時就認識了，19 歲時一起創辦公司。最初是在 2023 年 1 月，做國際招聘，把人匹配給朋友，并自動化整個招聘流程——就像人類會篩簡歷、面試、決定錄用一樣，我們用大模型自動化了這些環節。靠自籌資金做到百萬美元營收跑速后，我們才退學創業。后來一系列事情發生了，我們遇到了 OpenAI。

當時，人類數據市場正經歷巨大轉變：早期 LLM 需要的是寫一些語法勉強正確句子的低中技能人群。但現在，需求轉向了“尋找并驗證最優秀的專業人士”，比如資深軟件工程師、投行人士、醫生、律師，他們能幫助評估和解讀模型能力。這時我們就開始和頂級 AI 實驗室合作，在 16 個月內把公司從零做到 4 億美元營收跑速。

Brendan Foody：這段旅程非常不可思議，也令人振奮。

主持人：天啊，這太瘋狂了。我不確定大家是否意識到——我想這是你第一次公開這個數字。到我們播出的時候，你們可能已經宣布了：16 個月從 0 到 4 億美元營收。

Brendan Foody：沒錯。這是歷史上最快的增長記錄，我們對此非常自豪。

主持人：好吧，說明確實有大事在發生。這為什么這么有價值？到底發生了什么？

主持人：讓我來簡單總結一下你們的業務：你們幫實驗室招聘人來訓練模型，不只是一般勞動力，而是有專業背景、能解決模型知識缺口的專家，對嗎？

Brendan Foody：完全正確。這也回到你最初的問題：evals 時代。實驗室提升模型能力的最大瓶頸就是：如何有效衡量成功？eval 既是他們對照進展的測試集，也是 RL 環境里的驗證者，用來獎勵模型、提升能力等等。而這種需求存在于所有領域，所有模型還不擅長的能力上。全球最有錢的公司愿意不惜代價來提升模型能力，而 Mercor 就在這個核心瓶頸上。

專家的日常工作揭秘：給大模型定紅線，監督微調數據、強化學習任務

主持人：那么這些專家實際在做什么？能舉個例子嗎？比如他們一天到底在電腦前干嘛？

Brendan Foody：市場的邊界就是：凡是人類能做而模型還不能做的，就是需求所在。具體點說，如果你有一個模型，要像律師一樣修改合同條款（紅線），但它出錯很多，漏掉關鍵點。你可以請律師像教授設計評分標準一樣，寫一個 rubric（評分準則），定義模型該做到哪些點，并給出打分方式。這樣我們就能衡量模型進步：是否達到了專業人士的標準。然后，這些 rubric 還能作為訓練數據，用來獎勵模型、強化其能力。

主持人：所以他們本質上就是在寫 eval，對嗎？

Brendan Foody：沒錯。其實大家常提 RL 環境和 evals，但正如 Andrej Karpathy 說過的，它們本質上只是不同的語義描述，本質上都是“如何衡量好壞”。evals 既能當作基準，也能當作“銷售資料”，告訴別人“我們的模型為什么最好”，同時還能用于訓練后階段，獎勵模型實現某些能力。

主持人：好，那回到剛才的律師例子。

主持人：律師會寫出：什么樣的合同修改才算優秀，并設計一個 rubric 來定義“優秀”。

主持人：那么，他們會不會還提供實際的合同修改示例？

Mercor:可能吧。所以從歷史上看，數據格局主要包含兩類數據。第一類是監督微調數據，就是輸入輸出。當人們想到傳統意義上的微調時，說的就是這個。第二類是強化學習（RL）任務，模型會生成幾個示例，我們選擇哪個是最優的。現在大家普遍轉向的是來自AI反饋的強化學習（RLAIF），而不是人類反饋。在這種方式下，人類定義某種成功標準、某種可衡量的方式。比如在代碼場景里，可能是一個單元測試——我們能大規模衡量成功。在其他領域，可能是一個評分標準（rubric）。然后你用這個來激勵模型能力的提升。這種方式更具可擴展性，也更高效。所以，這就是為什么整個市場的大趨勢正朝著RLAIF發展，不僅是評估模型，也是提升模型能力。

主持人：我之前采訪過Anthropic的一位聯合創始人，他說的完全一樣。他們在Anthropic所做的，就是轉向AI驅動的強化學習。那我試著用外行人的角度幫觀眾理解：比如，一個律師會說，紅線合同的正確修改應該長什么樣。然后AI就像自己琢磨一樣，“好，我要嘗試改進它”，并根據給定的評估標準/評分表來判斷自己是不是在正確的方向上。

Brendan Foody：沒錯。這就像是應用“好結果”的所有標準，類似于助教根據教授的標準來判定學生的回答是否符合某一條或幾條標準，然后給多少分。

3年內不會出現超級智能，因為大模型的邊界就在那

主持人：太棒了。那我們轉向更大的勞動市場話題。這問題分兩部分：第一部分是，我們需要做這種事情（AI評估與訓練）多久？會不會有一天不再需要人類？你們的公司增長這么快，那會不會有個時點說：人類不再需要了，或者已經飽和了？我們先聊這個，再進入更大的問題。

Brendan Foody：關鍵問題是：在經濟中會有多久存在那些AI做不到但人類能做的事情？

Brendan Foody：當然，有些人認為三年內會出現超級智能，那時人類將不再在經濟中扮演任何角色——這是一個觀點。但我們的看法完全不同。我們的觀點是，這些模型非常厲害，正在快速自動化很多事情，但也有很多它們完全不行的。比如，它仍然不能幫我在日歷上安排會議，不能幫我寫郵件，不能用一些最基本的工具。我們需要對一切做評估——對工具使用的評估、對長周期推理的評估。想象一下10年后，我們希望模型能出去運行一家創業公司30天，那就需要對其進行評估來有效激勵它。而且只要在經濟中還存在人類能做但模型做不到的事情，這條改進之路就會一直持續，這也會成為未來工作的重要組成部分。所以我們的使命就是創造未來的工作形態。我認為這個行業非常令人興奮，因為它為我們展示了未來發展的大方向。

未來求職：關注有需求彈性的崗位，軟件、設計、用戶研究這些崗位只會增加

主持人：我想問你轉發過的一條推文。“如果你仔細想想，我們來到這個世界的意義就是為實驗室創造強化學習訓練數據。”你怎么看？這句話意味著什么？是不是說我們其實就是在幫模型訓練？

Brendan Foody：這句話對應了我和很多頂尖實驗室研究人員和高管的對話。他們認為整個經濟高度可能會演變成一個RL環境機器。我們會構建各種各樣的世界和場景，然后在其中加入評分標準或其他驗證機制。這其實非常令人興奮。類比到歷史上的其他革命，比如工業革命時，大家都擔心失業，但隨之出現了一整類新工作：如何造機器、如何進行知識工作、如何創造新的事物。過去三年的AI敘事幾乎全是關于“工作被取代”。當然，ChatGPT發展很快，大家都喜歡用它。但從經濟層面上，討論的更多是取代，很少有公司和人去討論新工作類別正在被創造，以及這意味著什么，人們如何準備和提升自己。對我來說，最令人興奮的就是：創造那個未來——人類如何融入經濟，并且這一過程如何演變。

主持人：我經常遇到有人問我：我該學什么？我該提升哪些能力？正在讀書的人也會問：未來到底什么才是有價值的？而你正處在人才需求的中心，你最清楚哪些崗位最受歡迎，招聘如何演變。我想直接問你：未來哪些崗位會保留？年輕人應該投資哪些技能？

Brendan Foody：關于崗位，我會從需求彈性很大的類別來回答。這些會非常令人興奮。比如，當一個人生產力提高10倍時，我們就能開發10倍、甚至100倍的軟件。產品經理在這種情況下就會非常有優勢。至于技能，我認為關鍵是能利用AI完成自己日常工作的人。比如，我和一些老師聊過，他們想知道如何更好地評估學生。我們最早做過大量AI面試和評估，對此很有經驗。我們的結論是：你不應該阻止學生用模型，就像計算器出現后，你不可能還讓學生天天做算術作業。你應該告訴他們：“去用這些工具，讓我們看看你能做到什么。”所以在我們的面試里，我們會說：“去用ChatGPT、Codex、ClaudeCode、Cursor等任何工具，在一個小時內搭建一個網站。”我們想看看最終你能產出什么產品。這個例子其實就說明了技能方向：關鍵不是對抗AI，而是如何借助它在自己所在行業做得更多。

主持人：你說的“需求彈性”，是指通才型人才嗎？

Brendan Foody：不是，我指的是行業的需求容量。舉幾個例子：會計——全世界需要的會計數量是有限的，不太可能需要100倍的會計。但軟件開發不一樣。我們完全可以交付100倍的功能，迭代速度快100倍，構建更多新東西。這里的需求幾乎無限。最近Marc（注：指硅谷投資人Marc Andreessen）也在推特上說過：軟件是最具彈性的行業。當生產力提高時，需求也會隨之大幅增加。這種特征在很多其他行業也存在。所以我會建議人們關注那些：當大家的生產力提升10倍，需求會隨之增加，而不是減少的領域。

主持人：所以你的觀點是“學習編程依然有用”。計算機科學還是值得學的。那么在彈性崗位類別里，工程和產品管理肯定在內。還有哪些？比如設計、用戶研究？

Brendan Foody：是的，還有很多環節，整個公司構建的價值鏈里都有這樣的變量。比如運營、咨詢。想象一下如果我們能有10倍的麥肯錫咨詢顧問，會產生多少研究和分析？但我認為能成功的公司和個人，都是那些擁抱豐裕思維的人，思考“如何做得更多”，而不是抵抗“如何避免被替代”。

主持人：說到這里，就讓我想起你提到的第二類成功者——不是具體技能，而是會用AI，讓自己更強的人。這讓我想到馬斯克和Neuralink，他說未來AGI或超級智能出現時，人類要想競爭，最好的辦法就是把大腦接入超級智能。這有點像現在的AI：熟練使用AI工具的人，其實就像獲得了超級能力。

Brendan Foody：沒錯，能學會如何利用并融入AI，將會至關重要。

主持人：對，這其實就回到一句現在聽起來有點老套的話：AI不會取代你，會用AI的人會取代你。

Brendan Foody：我完全同意。在企業級別上我也確實看到了這種情況。有些公司害怕接觸，不想評估，因為一旦評估就等于承認價值鏈正在被自動化。但也有一些公司——一些最知名、最復雜的財富500企業——正積極擁抱這種思維：如果我們能多做10倍、100倍，會意味著什么？未來10年會有那么多改變，而這些公司將會是最成功的。

未來招聘市場走向：AI修改簡歷泛濫，需要智能篩選機制

主持人：我們再聊回勞動市場。你們公司最初并不是要把人送去AI實驗室，不是為了訓練模型，而是幫助人找工作、幫助公司招聘。后來才發現了這個巨大的機會。所以你們對未來勞動市場和招聘的走向有很獨特的看法，能談談嗎？

Brendan Foody：是的。我還記得我們剛創業時（當時我19歲），只是有個直覺：勞動力市場過于低效和分散。什么意思呢？比如我們要在全球招聘，候選人會申請十幾份工作。但作為一家灣區公司，我們只會考慮市場上極小一部分候選人。原因是匹配問題必須人工解決：人工篩簡歷、人工面試、人工決定雇誰。但如果這個匹配問題能用軟件自動化解決，就能形成一個全球統一的勞動市場——所有候選人都申請到同一個市場，所有公司都從同一個市場招聘，信息流動更加順暢。毫無疑問，這就是未來的方向。但我們后來意識到，工作的本質也在劇烈變化。而在未來10年的建設中，除了打造市場，我們還需要通過評估和RL環境數據集為客戶創造未來的工作形態。

主持人：我看到的招聘趨勢也印證了這一點。我跟合作伙伴Gnome一起做過研究：現在投簡歷變得太容易了，大家都能用AI快速改簡歷、寫求職信，一口氣投幾百家公司。招聘經理這邊就被簡歷海淹沒了，所以不得不依賴AI來篩選。即使我們不想走到這一步，也被推著走：申請量和招聘量的暴增，迫使我們必須有更智能的過濾和選擇機制。這正是你們這些年來一直在構建的。

Brendan Foody：沒錯。很多人會問：我們到底是勞動市場公司，還是數據公司？這個問題有意思，因為我們意識到實驗室真正需要的其實是勞動市場。他們需要的是那些頂尖的專業人才。當然我們會附加一些項目管理和軟件平臺，但核心是：如何找到這些跨領域的高水平專家，來測評模型能力，并共同構建未來的工作形態。

人的質量，決定ChatGPT的質量

主持人：回到你們的業務。我和朋友聊過一件事：他腳踝扭傷，拍了X光片，然后把片子扔給ChatGPT，讓它分析。結果它真的給出診斷了。他就問我：“這模型是怎么知道的？網上哪里有這樣的訓練數據？”我告訴他，不是這樣，其實是有人在幫模型理解——當它不會時，人類會教它。所以模型的學習背后，是人類在不斷提供幫助。

Brendan Foody：沒錯。其實運作的方式，至少大多數人的理解是這樣的：模型的工作原理很復雜，預訓練把大量知識灌進模型里，相當于讓它見過世界上各種事物。然后后訓練和強化學習，才是幫助模型區分哪些知識是準確的、哪些是不準確的，以及在特定時刻該如何優先取舍來做出決定。在這背后，其實就有放射科醫生參與后訓練數據集的標注，他們會設定一個參考點——比如診斷結果，并配上相應的獎勵或懲罰機制。

Brendan Foody：最終，正是這些人的質量，決定了 ChatGPT 的決策和推薦的質量。

主持人：那我們繼續展開一下，因為這真的很有意思，我覺得沒多少人真正理解。我大概能理解。所以你們和這些專家做的工作，其實是“后訓練”。這不是往模型預訓練階段去喂數據，而是說：我們已經有了 GPT-5 模型，然后要補上它缺失的東西，再加強它。對吧？

Brendan Foody：對。更準確地說，這是幫助模型從預訓練里篩選正確的 token，強化正確的推理鏈，讓模型能更通用、更好地推理。

主持人：有多少人規模在做這件事？是幾千、幾萬人，還是幾十萬人？

Brendan Foody：通常是幾萬人同時在做，更廣泛來說是幾十萬人。規模非常大。而且最令人興奮的是它增長得非常快。你剛才提到競爭格局——過去主要是一些眾包公司雇傭大量低技能勞動力，比如 Scale 和 Surge 這類公司算是行業的先驅。但現在過渡到高技能勞動后，人們發現只要找到更高水平的人才，即便數量少一些，價值也能遠遠更大。等到滿足質量標準后，再逐步放大規模。我們的快速增長和營收成功，也吸引了一批后來者追隨這個市場邏輯，這是合理的。

主持人：挺有意思。

主持人：其實一直有一些公司，比如 AlphaSites 和 GLG，在 AI 之前就做過類似的事：花錢把人和專家連線，問他們問題。現在事實證明這對模型也很有用，只不過不再需要“中間人”。

Brendan Foody：沒錯。

Brendan Foody：但核心區別在于：AlphaSites 通常只是“一次性電話咨詢”，而我們更多是把人招進來做項目，需要他們長期投入。這也是為什么傳統專家網絡很難切入這一領域。另外，你還要考慮怎么長期留住這些人，以及建立起合理的激勵機制。某種程度上，它更像 Uber 或 DoorDash 這樣的勞動市場，只不過我們對接的是高技能人才，并且給予非常優厚的待遇。

主持人：我今天學到好多東西，所以我想多問幾個問題。你們找的專家，到底是更多偏“硬知識”，還是偏“人格和軟技能”？比如具體到：怎么做檢查，怎么做 X 光？

Brendan Foody：要看不同實驗室的需求，兩者都有。以前可能更偏軟技能，但現在很多實驗室聚焦的是商業模式：哪些能力能直接帶來收入，所以更傾向于專業領域的硬技能。不過創意類能力同樣很重要。比如幾個月前我們就把哈佛 Lampoon 喜劇社整隊招了進來，讓模型變得更幽默。我們也會請艾美獎編劇，或者各類創意人才，來提升模型的創造力。

24小時內交付專家，只需留住前10%的人，時薪最高達500美刀

主持人：這故事太酷了。我迫不及待想看到效果。這種改進見效要多久？幾個月還是幾年？

Brendan Foody：要看實驗室。有些模型會迭代式更新，幾周就悄悄改進一次；有些則會搞“大版本發布”。我們在所有這些實驗室背后提供支持。我們動作很快，比如客戶說要找獲獎編劇，我們能在 24 小時內交付專家。還有個很有趣的現象：我們雇的 100 個人里，往往前 10% 的人貢獻了大部分改進。就像一家公司，10% 的頂尖員工決定了大部分產出。這意味著只要我們能識別并留住那前 10% 的人，再把他們高效匹配到項目里，就能創造巨大的客戶價值，也形成了競爭壁壘。這正是公司最初的核心邏輯：找到卓越人才，并持續把他們帶給客戶。

主持人：那具體來說，比如你們招了一個叫 Jane 的人，她很會寫代碼，她會不會就被 Anthropic 全職雇走？還是說主要是兼職、項目制？

Brendan Foody：都有。有時是全職，但多數是兼職。比如有些人在大廠工作，節奏慢，手里還有 20 小時富余時間，就會來做這類任務。當然我們也提供很多 40 小時全職崗位。

主持人：那收入呢？對 FAANG 工程師來說值得嗎？

Brendan Foody：非常值得。我們平臺的中位時薪是 95 美元，最高可以到 500 美元/小時，取決于專業深度。對比傳統眾包平臺，他們一般平均只付 30 美元/小時，所以只能雇些本科生。而我們能吸引到高盛銀行家、麥肯錫顧問、FAANG 工程師。最終還是要看實驗室需要的能力，大多數需求還是落在后者這些高技能人群身上。

Claude代碼為什么領先？評測！

主持人：我知道你不能說太多客戶細節，但比如 Anthropic Claude 在寫代碼方面一直領先于其他模型，還能寫得很好。我也用它做寫作反饋。為什么他們能這么強？

Brendan Foody：我不能講太細。但整體趨勢就是：強化學習，以及認真定義正確的獎勵機制，避免獎勵黑客化，才讓模型越來越好。這就是評測的威力。客戶經常說：“模型的好壞取決于它的評測。”這句話一直成立。

主持人：我記得 Greg Brockman 發過一句話：“Evals are all you need。”確實如此。

抓住史上最大商機：領先指標、客戶至上，強推PMF無意義

主持人：我們聊回Mercor 本身吧。你們可能是歷史上增長最快的公司了。 

我想了解你們是怎么做到的。你認為 Mercor 成功的核心要素是什么？

Brendan Foody：最重要的是抓住快速變化市場里的領先指標。以前在風投圈，大家總說“為什么是現在（Why Now）”。我一開始理解為產品層面的時機，比如現在能自動化篩簡歷、做面試。但其實關鍵在于市場。你要找到那些變化飛快的新市場和新需求點——世界上最有錢的客戶愿意為提升模型能力花任何代價。我們就要盯住這些領先信號，把一切資源優化到為頭部客戶提供最好的解決方案上。這是最有影響力的一點。

另一個核心是客戶至上。在公司成立一年半里，我們沒有銷售團隊，也沒有市場團隊，100% 的資源都放在打磨產品和體驗。靠口碑傳播，客戶在別的公司工作時還想繼續用我們。這就是我們花所有時間的地方。很多創業者容易過早糾結“怎么做好市場推廣”，但真正重要的是：先把讓客戶愛上的“六星體驗”做到。

主持人：我想回到你剛才說的，你們發現了一個可能是“史上最大商機”的口袋市場。你們是怎么第一次意識到的？

Brendan Foody：這背后有些瘋狂的故事。我們在 2023 年 1 月成立公司，到 2023 年 8 月，我還在上大學。有客戶把我們介紹給 xAI 的聯合創始人，說我們有一批數學和編程很強的印度工程師。我們見面后強調他們的強項就是因為不用被人文學科分心，不用學歷史英語這些，他們很喜歡。兩天后，xAI 就請我們去 Tesla 辦公室，見了整個聯合創始團隊（除了 Elon）。當時 xAI 剛成立，他們對我們“專家質量優先”的理念非常興奮。雖然他們那時還在做預訓練，不急著要人類數據，所以沒有立刻合作，但我們已經意識到市場會徹底變革，我們必須走在前沿。

再往后幾個月，一家眾包公司來用我們的平臺雇了上千人。結果我們收到大量工單，投訴他們沒拿到錢。我們很愧疚，因為我們推薦的機會竟然沒兌現。這讓我們意識到：很多老牌公司在人才體驗上完全停滯，人才被當作廉價消耗品。但其實可以直接和實驗室合作，既保證專家尊嚴、又支付高薪，同時切掉中間環節。于是我們在2024 年 5 月開始直接對接實驗室，后面的故事你就知道了。

主持人：哇。

主持人：這就帶來了上億美元的營收。所以總結一下，你們的思路是：先敏銳捕捉“需求拉力”，然后一旦確認市場有意義，就全力把客戶體驗做到極致。

Brendan Foody：對。如果給創業者一句建議，就是：別老想著“強推產品市場匹配”。當然，你需要堅持自己的世界觀，認為世界會如何變化，但有時市場本身會告訴你“拉力”在哪。要找到那些非常容易成交的客戶，因為那代表他們痛點極大、需求迫切。如果每個客戶都得拼命去推銷，那業務做不大。你需要找到“輕而易舉就能成交的客戶”，那才是增長的核心。所以既要對未來的假設保持執著，又要對市場的具體走向保持開放，隨時調整。

主持人：這真是一個了不起的洞見。

主持人：在你剛剛描述的那些時刻里，感覺像是兩個關鍵點疊加在一起：一個是和 xAI 的會面——你們意識到，“哇，他們真的、真的很想要我們手上這點東西，雖然我們做得還不夠完美”；另一個就是平臺上一千人的大規模招聘。

主持人：是不是就是這兩個瞬間讓你們覺得：“對，就是這樣”？

Brendan Foody：沒錯。而且要注意，這些事發生的時候，我們還只是一個種子輪階段的公司。第一個是在我們拿到任何種子輪融資之前，當時完全是自力更生。我們把公司做到了一百萬美元的收入運行率，始終保持極高的資本效率，從沒燒過錢，整體上一直是盈利的。然后我們在 9 月份拿到了 General Catalyst 的種子輪投資。第二個經驗，就是在那之后我們真正看清了這個市場存在巨大的需求——我們看到了量，看到了老玩家其實對市場的變化和所需人才有點“睡過去”了。

老外也在996，持續成功的三個價值觀：can-do、高標準、強度

主持人：看到機會并開始執行是一回事，但能在這樣的規模下持續成功是另一回事。你們公司內部有一些非常具體的價值觀，請談談這些。我感覺這也是你們成功的重要原因。

Brendan Foody：確實如此。我可以分享三個核心價值觀，并且每個都講個小故事。

第一個是“能做的態度（can-do attitude）”。大家總是拿這個說笑，但我們真的一直在設定看起來瘋狂的目標，然后公司的軌跡竟然真的圍繞著這些目標展開。我記得在 Benchmark 帶領我們 A 輪融資之前，我們當時收入運行率是 150 萬美元，我說我們年底會做到 5000 萬，他們覺得我們瘋了。結果前后兩周的差距，我們真的做到了。而且今年我們早就遠遠超過了最初定的 5 億美元運行率目標。所以，不管是營收規模還是人才體驗，我們都會設定極度雄心勃勃的目標，而“能做的態度”是第一條。

第二個是高標準。不管是招聘還是日常期望，我們的門檻都非常高。我們雇了很多前創業者，背景非常優秀的人才。比如我們剛剛請來 Sandeep Jain 擔任總裁，他之前是 Uber 的首席產品官和首席技術官。Uber 當然是全球最大的勞動市場，而他愿意加入我們這種相對還小的公司，就是為了幫我們把流程規模化。

第三個是強度（intensity）。看看 Meta 或 Google 的早期文化，都有那種極度強烈的“推山移海”的勁頭。我們公司也是這種氛圍——注重輸出結果，而不是考核你具體坐多少小時。但大家都清楚，要建立一家傳奇公司，就必須投入巨大的強度。

主持人：我能理解為什么這套能行。

“能做的態度 + 高標準 + 強度”，聽起來就是成功組合。現在外界很多討論 996、699 這種文化（每天 早9 點到晚 9 點，每周 6 天）。很多人覺得這很糟糕，為什么要這樣壓榨員工？但與此同時，我不斷聽到頂級 AI 公司都在說，這是成功的必然。機會太難得，速度太快，錯過就沒了。你怎么看？

Brendan Foody：我需要澄清一點：我們從來沒有強制規定工時。這更多是自然而然的結果——大家都很在乎公司的發展軌跡。很多人會自愿留下來加班，但如果他們要早點走去陪孩子吃飯，或者周末要出行，那完全沒問題。對我們來說，關鍵在于找到那些有強烈主人翁意識、真正認同公司使命的人，而不是盯著他們坐在辦公室多少小時。只是現實往往是——最認同的人，通常也就是那些愿意和我們一起熬夜的人。

主持人：當你說“高標準”的時候，有沒有什么具體的例子可以說明你們的要求到底有多高？

很多人覺得自己有高標準，但其實并沒有。

Brendan Foody：如果你足夠耐心，就能在招聘中把質量和速度之間的權衡做好。我記得我們前 10 個員工的招聘過程，就異常耐心和嚴格。比如我們在美國的第二個員工 Sid，之前是 Scale 的增長主管，他加入我們的時候我們還只是種子公司。還有 Daniel，他曾經把兩個消費級應用做到 10 萬以上用戶。這些人背景都非常不凡。最初那 10 個員工的“人才密度”，極大地塑造了公司后續擴張時的文化和格局。

招人的快與慢

主持人：我知道你們還有個觀點是：外界經常說“招人要慢”，但你認為這并不總是對的。能展開講講嗎？

Brendan Foody：這確實是把雙刃劍。一方面，我很高興我們前 10 個員工都如此優秀，這對公司幫助巨大。但另一方面，公司到了一定規模，就必須快速招聘。有些工作就是需要大量人力來完成。你必須承認，快速招聘一定會帶來一定差異性，但此時速度更重要。某種意義上，我們在團隊擴張上其實走得有點慢了。好處是每個人都很強，我們保持了高門檻。但壞處就是，即使公司已經成長得很快了，其實我們本可以更快，如果我們在從 10 人擴張到 100 人這段時間里能更迅速些。

主持人：所以前 10 人要謹慎，之后 10 到 100 人要加快？

Brendan Foody：差不多吧，但我不會說一定是“10”這個數字。關鍵點是：一旦你清楚公司真的跑通了，市場需求遠超你能承接的范圍，那就是要“踩油門”的時候，速度比什么都重要。但在此之前，耐心和高標準依然最重要。

高速增長下CEO的兩件事

主持人：你之前還創過幾家公司，規模都比較小。現在作為一家超高速增長公司 CEO，最讓你意外的是什么？很多人夢想當 CEO，但可能想象不到日常的重點。

Brendan Foody：其實沒什么太意外的。最主要的兩個方面依然是招聘和客戶。第一是怎么找到、培養最強的團隊；第二是怎么真正理解客戶需要什么，以及我們如何支持他們。當然，還有很多臨時出現的管理事務，比如組織架構、薪酬等級等等，這是隨著公司規模化才會遇到的。但核心時間花在招聘和客戶上，這和我之前的預期一致，也正好是我最喜歡做的事，這算是幸運吧。

從甜甜圈到AWS項目：行動比想法更重要

主持人：你過去創的那兩家公司，能分享一下嗎？我覺得挺有趣。它們又是如何幫助你在現在的角色里更成功的？

Brendan Foody：我之前搞過十幾個項目，挑兩個最喜歡的吧。一個是我八年級時開的 甜甜圈王國（Donut Dynasty）。當時發現 Safeway 賣一打甜甜圈才 5 美元，我覺得太劃算了。于是我騎車去買，再拿回學校，一個賣 2 美元。賣得飛快。我后來請我媽開車送我去批量進貨，一次買十打帶回來賣。后來學校禁止我在校園賣食物，我就把攤子挪到校門口 50 英尺之外，說他們沒權力管我。競爭對手也出現了，有人賣更高檔的 Chuck’s Donuts，一只就要 1 美元。我于是把價格壓到 1 美元兩個，撐了兩周把他們擠出市場（當時我還不知道這叫反競爭）。我還雇朋友幫賣，用甜甜圈支付他們的勞務，他們覺得值 2 美元一只。就是各種有趣的商業博弈。

另一個是我高中時期做的 AWS 相關業務，規模更大一些。但我從這些經歷里得到的最大收獲就是：行動比想法更重要。很多人都有點子，但很少人真正去做。只要你愿意開始做、去滿足客戶需求，并投入精力和野心，就能把事情做起來。這些練習讓我明白，后來應該在更大規模上干同樣的事。

主持人：哈哈，這個故事太棒了。

主持人：我最喜歡的是你給你媽 20 美元當“運費”。

Brendan Foody：對，她堅持說這不是白幫忙，得算她的時間成本。她還要求給她一個頭銜，我們最后笑著把她封為“全球運營總監”。

主持人：希望她把這寫進 LinkedIn。

Brendan Foody：還沒，不過也許以后會加上。

主持人：你說自己開過十幾家公司。

Brendan Foody：算是十幾個項目吧，但真正做大的就是甜甜圈生意和 AWS 公司。

主持人：那“Mercor” 這個名字有什么故事？

Brendan Foody：“Mercor” 在拉丁語里是市場、買賣、交易的意思。我們想打造全球最大的市場，一個所有人找工作的市場。所以就取了這個名字。

寫eval的專家，正在創造最高增速的公司

主持人：好的。最后一個問題吧。回到前面的話題：現在大家都說，過去是“數據驅動模型”，現在變成“專家驅動模型”。你覺得下一步是什么？會不會走向 AGI？

Brendan Foody：我不覺得是從“數據”轉向“專家”，更準確地說是：實驗室必須和專家密切合作，來設計好評測（evals），推動模型前沿。很清楚的一點是，只要我們還想提升模型，就需要專家來設計評測，提供后訓練數據，讓模型學到能力。當然，訓練方式可能會變，比如不同的 RL 方法，但始終都需要評測來衡量在各個領域里什么才是成功。

三年內不會有超級智能

主持人：好，那在這個基礎上，我想問一個現在常被提起的問題。規模定律以及模型智能的進展。很多人覺得，好像放緩了。按照這樣的速度，我們可能真的無法達到超級智能。你的看法是什么？

Brendan Foody：我完全同意這種看法。雖然有些大實驗室的高管說我們三年內會有超級智能，但我認為事實是，這條路會更長。這并不是貶低當前模型的能力——我認為在未來十年內，我們一定能自動化掉大多數知識型工作的任務。但這條漫長的道路，靠的將是各種評測（evals），幫助模型獲得這些能力。實現這一切的關鍵不在于“再多10倍的預訓練數據”，而在于更高效、更精心設計的后訓練數據集，它們才會推動能力進化。

主持人：David Sachs 曾經發過一條推文，說我們現在的情況其實是最佳情境：AI 沒有進入極速躍升到超級智能的狀態；有很多競爭者彼此制衡；模型已經很有價值，而且越來越有價值；但并沒有出現某個“贏家”型超級智能主宰世界的局面。

Brendan Foody：是的，我覺得這沒錯。我認為關于超級智能的恐慌有些被夸大了。但同時，很多人的框架是：即便只有 5%-10% 的概率會出現這種情況，我們也該保持謹慎——這聽上去也合理。但我覺得未來十年對硅谷乃至全世界來說都會是非凡的，因為這項技術能夠帶來真正的豐裕——讓每個人都能獲得更好的醫療、更優質的法律咨詢，以及前所未有的產品創造能力。

主持人：教育也正在被徹底改變。

主持人：完全正確，對嗎？

Brendan Foody：是的，我自己這十年來也深有體會。比如我記得大學時，父母總批評我不去上課，但我當時就覺得，YouTube 上的課程講得更好，為什么不直接在那里學？而且我可以想象，當模型的表達和教學能力遠超最好的教授時，這意味著什么——獲取各種知識的門檻大大降低，推動人類進步和全民技能提升。

AI產品漫談：喜歡ChatGPT語音模式、AI玩寵、Codex

主持人：那我就借這個問題，進入今天的最后一個環節——AI 角落，這是我們播客的固定環節。你個人是怎么用 AI 來幫助工作或生活的？

Brendan Foody：我主要用它來寫文檔，這個很自然。另外，我也會和它對話，尋求建議。我覺得它就像一個思考伙伴，幫我理清思路。因為有時候，跟同事或身邊的人不能把所有想法都說出來，但和 AI 聊，我就能更好地思考。

主持人：所以主要是用 ChatGPT 的語音模式？

Brendan Foody：是的，我很喜歡 ChatGPT 的語音模式，雖然還有改進空間，但我對語音的未來非常興奮。

主持人：讓我給你看看我做的一個小東西。我原本沒打算提這個。有個叫 Eric Antoneau 的人，很多人推薦過他。他是個很有創造力的產品人，之前在 Facebook 待過。他做了一個叫 ParrotGPT 的項目，把 ChatGPT 塞進毛絨玩具里，可以對話。他做了一只智慧小貓頭鷹，我現在沒帶過來。基本原理就是在玩具里縫一個小音箱，肩膀上貼一個磁鐵，就能隨時對話。

Brendan Foody：太棒了，兄弟。我愛死了，我一定要搞一個。我家里已經有一些語音助手，但我更想要一個 ChatGPT 語音助手。我真的很期待。我剛才還在想這個事。

主持人：是啊，為什么不能有一個 ChatGPT 語音助手，就隨時在旁邊聽？而不是像手機那樣休眠，你得喊它一聲“嘿”。

Brendan Foody：沒錯，正是這樣。

主持人：好吧，他還在做 Kickstarter，我們會把鏈接貼出來，大家可以去支持。Brendan，在進入最后的閃電問答環節之前，你還有什么想補充的嗎？

Brendan Foody：呼應我們剛才談到的“主動性”這個話題，我想鼓勵大家：尤其在 AI 時代，構建產品和嘗試的門檻已經低得多了，所以請邁出那一步，去做，去和用戶交流，去嘗試。因為我覺得，最大的障礙就是缺乏主動行動。只要我們能降低這一障礙，就會有更多創新。

主持人：對。現在太多人光是聽播客、看文章，但就是不去實踐。而如今，已經是史上最容易動手構建、動手嘗試的時代了。所以，一定要記住：Just do it。就像你當年把甜甜圈攤往外挪了 50 英尺一樣。好，Brendan，下面我們進入快問快答環節，我有五個問題準備好了。你準備好了嗎？

Brendan Foody：準備好了。

主持人：第一個問題：你最常推薦給別人的兩三本書？

Brendan Foody：《高效能管理》（High Output Management），這是一本關于如何運營公司的經典；第二本是《從零到一》（Zero to One），大家都知道；第三本是《鞋狗》（Shoe Dog），我覺得它特別勵志。

主持人：最近你喜歡的一部電影或電視劇？

Brendan Foody：我很喜歡《奧本海默》。我最喜歡的電視劇是《金裝律師》（Suits），雖然不是最近的。如果說近期的話，就是《奧本海默》。

主持人：很酷。最近你發現并喜歡上的一個產品？

Brendan Foody：我很喜歡新版 Codex，我覺得它進步巨大，非常驚艷。

主持人：你有沒有一句人生格言？

Brendan Foody：就是我們剛才說的那句：You can just do stuff。勇敢邁出那一步。

主持人：我本以為你要說“Can do”，畢竟這是你 Twitter 簽名。

Brendan Foody：也行，可以是“Can do”。

閱讀障礙者如何管理公司

主持人：兩句都不錯。最后一個問題：你之前說過一個細節，還沒對外分享過，就是你其實有閱讀障礙（dyslexia）。

Brendan Foody：是的。

主持人：能和大家聊聊嗎？畢竟你在這樣的情況下，還建立了史上增長最快的公司。

Brendan Foody：我從不隱瞞，很多同事都知道。閱讀障礙確實讓處理大量郵件或文件很困難。但另一方面，它讓我思考方式不同，更有創造力，能看到別人未必注意到的市場變化。從管理角度來說，它讓我意識到：更應該發揮團隊成員的長處，而不是執著去彌補短板。因為有些事我再怎么練也不會做到最好，但我可以在自己的強項上不斷精進。

主持人：這是我們節目里經常出現的主題：專注優勢，而不是過度糾結于弱點。Brendan，這期節目太精彩了，我學到很多。最后兩個問題：第一，大家應該知道 Mercor 現在在做什么、招什么崗位？第二，聽眾怎么能幫到你們？

Brendan Foody：當然。我們正在大量招聘：運營團隊的戰略項目負責人、工程團隊的軟件工程師、研究員等等。大家可以直接去 Mercor.com 應聘。也歡迎推薦朋友，因為我們平臺超過一半的人才都來自轉介紹。我們很希望和優秀的人一起工作。這就是大家能幫到我們最大的方式。

主持人：太棒了。謝謝你來參加。

Brendan Foody：謝謝邀請。

主持人：好的，各位，再見！

好了今天的文章到這里就結束了。大模型已然走到了“evals”時代，更好的評估帶來更高質量的模型和Agent，大家是否認同呢？歡迎評論區交流。

參考鏈接：??https://www.youtube.com/watch?v=ja6fWTDPQl4&t=8s??

本文轉載自??51CTO技術棧??，作者：云昭