就在剛剛，創(chuàng)業(yè)成功的27歲億萬富翁Alexandr Wang宣布——

Scale AI的年化收入，幾乎達(dá)到了10億美元！

這個數(shù)字，足夠震驚整個硅谷的。

相比之下，OpenAI預(yù)估的年收入也只是35-45億美元而已。再減去85億美元的成本，OpenAI今年可能會血虧50億。

這Scale AI是什么來頭，能在營收上取得如此驚人的成績？

原來，它主攻的就是如今AI模型的一大軟肋——對數(shù)據(jù)的巨大需求。

我們正在進(jìn)入LLM開發(fā)的第三階段。

第一階段是早期的試驗，從Transformer到GPT-3

第二階段是規(guī)模擴展

第三階段是創(chuàng)新階段：除了o1之外，還需要哪些突破性進(jìn)展才能讓我們達(dá)到新的proto-AGI范式

Scaling Law的存在意味著，隨著模型變大，對數(shù)據(jù)的需求也呈現(xiàn)指數(shù)級增長，越來越多的人擔(dān)心大模型會耗盡可用數(shù)據(jù)。

Scale AI的主營業(yè)務(wù)——做AI模型的「數(shù)據(jù)工廠」，恰好處于這個風(fēng)口之上。

如果能攻克「數(shù)據(jù)墻」這個AI進(jìn)步的巨大瓶頸，Alexandr Wang理所當(dāng)然會賺得盆滿缽滿。

在AI浪潮中，賺得盆滿缽滿

生意能做這么大，源于Scale AI越做越成功的一項大業(yè)務(wù)。

在AI生態(tài)圈中，為大公司提供基礎(chǔ)設(shè)施或服務(wù)支持的業(yè)務(wù)，市場需求巨大。

Scale AI做的就是后者——為這些公司提供人工數(shù)據(jù)標(biāo)注員。幫AI公司提高LLM的準(zhǔn)確性。Meta、谷歌等大公司，都是它的客戶。

而且，今年Scale AI的生意越做越紅火了。

跟去年同期相比，它今年上半年的銷售額增長了近4倍，已經(jīng)接近4億美元。

可以肯定地說，Scale AI是從AI熱潮中受益最多的私營企業(yè)之一。

投資者們當(dāng)然也看到了這一點。

今年5月，Scale AI以138億美元的估值，進(jìn)行了新一輪融資。

投資者包括Accel、Founders Fund、Index Ventures、Thrive Capital和Greenoaks Capital等。

并且，除了亞馬遜和Meta之外，Scale AI還吸引了各種各樣的新投資者：思科、英特爾、AMD等風(fēng)險投資部門參與其中，而且很多注資過的公司也回歸了，包括英偉達(dá)、Coatue、Y Combinator等等。

就在近期，Wang手下的高管團隊，再度進(jìn)行了調(diào)整。

首席技術(shù)官Arun Murthy將離開公司，而去年離開風(fēng)投公司Benchmark的前優(yōu)步高管Jason Droege將加入公司擔(dān)任首席戰(zhàn)略官，直接向Wang匯報。

首席策略官Jason Droege解釋自己為什么要加入Scale AI：這讓我有機會參與到我一生中技術(shù)領(lǐng)域最根本的變革中

在Droege看來，Scale解決了人工智能中最困難的挑戰(zhàn)之一：通過數(shù)據(jù)改進(jìn)模型。做到這一點需要卓越的人才、復(fù)雜的運營和對AI未來發(fā)展的強烈愿景。雖然團隊迄今已經(jīng)取得了矚目成就，但仍處于起步階段。

2023年上半年開始，公司收入激增

這家成立8年的初創(chuàng)公司，一直負(fù)責(zé)合同工的招聘和培訓(xùn)，但尚未實現(xiàn)盈利。

然而就在今年上半年，它成功改善了運營的毛利率——每產(chǎn)生1美元收入，只需要花費約1.2美元，而在去年上半年，這一數(shù)字為1.5美元。

如今僅考慮業(yè)務(wù)成本（比如合同工的工資），Scale AI保留的收入只有一半。毛利率這一財務(wù)指標(biāo)，略低于50%。比起2022年上半年約57%的毛利率，這個數(shù)字有所下降。

這一水平，大大低于科技投資者對軟件公司的期望。

但盡管如此，5月份的融資還是為Scale AI提供了雄厚的資金實力。截至上半年末，公司還有約9.8億美元的現(xiàn)金。

從去年上半年開始，公司收入就開始激增。因為構(gòu)建LLM的客戶需要很多合同工，通過向聊天機器人提交問題、撰寫答案，來訓(xùn)練AI模型。

在給投資者的PPT上，Scale AI自稱是「一個人機混合系統(tǒng)，以低成本生產(chǎn)高質(zhì)量數(shù)據(jù)」。

根據(jù)外媒消息，它還通過一家名為Outlier的子公司，雇傭了數(shù)十萬個小時工，來進(jìn)行數(shù)據(jù)微調(diào)。

顯然，Scale AI選擇聚焦LLM客戶，是一種戰(zhàn)略轉(zhuǎn)型。

此前，它還有一項類似業(yè)務(wù)，主要是利用菲律賓和肯尼亞的低成本勞動力，為自動駕駛汽車公司標(biāo)注數(shù)據(jù)。但近年來，這項業(yè)務(wù)的增長已經(jīng)放緩。

現(xiàn)在，即使雇傭薪酬更高、更專業(yè)的合同工，Scale AI的收入也依然能提高，因為它可以將這些更高的成本轉(zhuǎn)移給客戶。

當(dāng)然，現(xiàn)在Scale AI也并非硅谷投資者眼中穩(wěn)賺不賠的投資。投資者擔(dān)憂的問題，包括公司較低的毛利率，以及過度依賴少數(shù)幾個大客戶的問題。

天才少年輟學(xué)創(chuàng)辦獨角獸

Scale AI由Alexandr Wang和Lucy Guo于2016年創(chuàng)立，由著名創(chuàng)業(yè)孵化器Y Combinator投資。客戶包括Meta、微軟、英偉達(dá)、OpenAI、豐田和哈佛醫(yī)學(xué)院。

2019年，Scale AI成為獨角獸。

2022年，Alexandr Wang成為全球最年輕的白手起家的億萬富翁。

Wang于1997年出生于新墨西哥州，父母都是在新墨西哥州洛斯阿拉莫斯國家實驗室的物理學(xué)家。

高中階段，他開始通過網(wǎng)絡(luò)自學(xué)編程，開始參加世界級編程大賽，如美國計算機奧林匹克競賽（USACO）。

17歲，他成為美國知名問答網(wǎng)站Quora的全職碼農(nóng)；18歲，考入麻省理工學(xué)院攻讀機器學(xué)習(xí)；在MIT大一剛結(jié)束后的暑假，他就和Guo一起創(chuàng)辦了Scale，并且拿到了Y Combinator的投資。

Wang跟爸媽說，「這就是我夏天隨便玩玩的事。」

Scale AI剛起步時，有些人確實覺得這就是一個笑話，畢竟公司當(dāng)時只有三名員工。

不過，在不斷地融資和發(fā)展之下，Scale AI發(fā)展飛速，到2021年已經(jīng)成長為價值73億美元的獨角獸企業(yè)，2023年初公司規(guī)模也擴展到了700人。

Wang透露，隨著企業(yè)客戶競相訓(xùn)練生成式AI模型，Scale AI的這方面業(yè)務(wù)快速增長。

2023年，公司年度經(jīng)常性收入增加了兩倍，預(yù)計2024年底將達(dá)到14億美元。

由于Scale AI的驚人成就，Alexandr Wang已經(jīng)被硅谷公認(rèn)為「下一個扎克伯格」。

AI模型的「數(shù)據(jù)工廠」

AI領(lǐng)域公認(rèn)的三個基本支柱——數(shù)據(jù)、算法和算力。

算法領(lǐng)域，前有谷歌、微軟的大型研究院，后有推出過Sora和GPT系列模型的OpenAI；算力領(lǐng)域有供貨全球的英偉達(dá)，但在Scale AI還未誕生的2016年，數(shù)據(jù)領(lǐng)域仍處于空白。

19歲的Alexandr Wang在看到這一點后，做出了輟學(xué)創(chuàng)業(yè)的決定，「我創(chuàng)辦Scale的原因是為了解決人工智能中的數(shù)據(jù)問題」。

大部分?jǐn)?shù)據(jù)都是非結(jié)構(gòu)化的，AI很難直接學(xué)習(xí)這些數(shù)據(jù)；而且大型數(shù)據(jù)集的標(biāo)注一項資源密集型工作，因此，「數(shù)據(jù)」被很多人認(rèn)為是科技領(lǐng)域最辛苦、最卑微的部分。

但Scale AI卻在短時間內(nèi)就獲得了巨大成功。他們可以為不同行業(yè)的企業(yè)客戶量身定制數(shù)據(jù)服務(wù)。

在自動駕駛領(lǐng)域，Cruise和Waymo等公司通過攝像頭和傳感器收集了大量數(shù)據(jù)，Scale AI將機器學(xué)習(xí)與「人機回路」監(jiān)督相結(jié)合，管理和標(biāo)注這些數(shù)據(jù)。

他們曾經(jīng)開發(fā)的「自治數(shù)據(jù)引擎」，甚至推動了L4級自動駕駛的發(fā)展。

Wang表示，Scale AI將自己定位為整個AI生態(tài)的基礎(chǔ)設(shè)施供應(yīng)商，構(gòu)建「數(shù)據(jù)鑄造廠」，而不僅僅是在子公司Remotasks中雇傭大量的合同工進(jìn)行人工標(biāo)注。

他強調(diào)，來自專家的、包含復(fù)雜推理的數(shù)據(jù)是未來人工智能的必備條件。

傳統(tǒng)的數(shù)據(jù)來源，比如從Reddit等社區(qū)的評論中抓取數(shù)據(jù)存在局限性。Scale AI構(gòu)建了一些流程，模型先輸出一些內(nèi)容，例如撰寫研究論文，在此基礎(chǔ)上，人類專家可以改進(jìn)這些內(nèi)容，從而改進(jìn)模型的輸出。

「雖然人工智能生成的數(shù)據(jù)很重要，但想要獲得有一定質(zhì)量和準(zhǔn)確性的數(shù)據(jù)，唯一方法是通過人類專家的驗證。」

Alexandr Wang在Scale AI的官網(wǎng)上這樣寫道，「數(shù)據(jù)豐富不是默認(rèn)情況，而是一種選擇，它需要匯集工程、運營和AI方面最優(yōu)秀的人才」。

Scale AI的愿景之一是「數(shù)據(jù)豐富」，從而將前沿LLM擴展到更大數(shù)量級，「為通向AGI鋪平道路。在達(dá)到GPT-10的過程中，我們不應(yīng)該受到數(shù)據(jù)的限制」。

業(yè)內(nèi)盛贊的LLM排行榜更新

Scale AI對業(yè)界所做的貢獻(xiàn)，不僅是數(shù)據(jù)標(biāo)注這么簡單。

今年5月，Scale AI重磅推出了全新LLM排行榜——SEAL，開始對前沿模型開展專業(yè)性評估。

對于這個榜單，Jim Fan大加贊賞。他認(rèn)為SEAL是LMSys的非常好的補充和參照，提供公開模型的私密、安全、可信的第三方評估。

對此，Andrej Karpathy也深以為然。

隨著OpenAI最強模型——o1的推出，SEAL排行榜也第一時間進(jìn)行了評測。

除了在高級編程、數(shù)學(xué)和科學(xué)等領(lǐng)域表現(xiàn)出色之外，o1系列也為「prompt engineering」（提示工程）引入了新的變化。

在工具使用和指令跟隨方面，o1-preview表現(xiàn)出色。而在編程能力方面，o1-mini奪得榜首，o1-preview緊隨其后位居第二。

- 編程排行榜

在SEAL編程排行榜上，o1-mini以1271分的成績領(lǐng)跑，緊隨其后的是o1-preview，得分為1198。

評估數(shù)據(jù)集使用了1000個提示詞，用于測試各種編程任務(wù)，涵蓋從代碼生成到優(yōu)化和文檔創(chuàng)建等多個方面。

過程中，每個模型的響應(yīng)都會從正確性、性能和可讀性三個維度進(jìn)行評估，綜合運用人工審核和代碼執(zhí)行測試的方法。

- 指令跟隨排行榜

在對精確指令跟隨能力的評估中，o1-preview以87.27 分的成績領(lǐng)先，超越了知名Claude 3.5 Sonnet和Llama 3.1 405B Instruct。

評估數(shù)據(jù)集包含1054個跨領(lǐng)域的提示詞，涉及文本生成、頭腦風(fēng)暴和教育支持等多個方面。

提示工程的變化

與我們熟悉的GPT、Gemini或Claude等模型相比，o1模型的提示詞使用和可操控性明顯不同。

根據(jù)OpenAI的建議，簡單直接的指令有助于充分發(fā)揮o1的潛力。

與之前的模型不同，用戶應(yīng)避免要求模型進(jìn)行思維鏈推理。他們還指出，提示詞中的無關(guān)上下文對o1模型的干擾可能比之前的GPT系列更大，因此在檢索增強生成（RAG）提示中加入一些示例很重要。

Cognition Labs發(fā)現(xiàn)，要求模型「think out loud」（大聲思考）實際上會損害性能，而只要求給出最終答案反而會提高性能，因為o1模型無論如何都會產(chǎn)生內(nèi)部的思維鏈。他們還指出，冗長或重復(fù)的指令會損害性能，而過于具體的指示似乎會影響模型的推理能力。

雖然o1在基準(zhǔn)測試中取得了出色的結(jié)果，但讓它完成你自己的具體任務(wù)似乎需要更多努力——它們往往會忽視明確（甚至是強調(diào)的）關(guān)于如何解決問題的指令。

由此可見，現(xiàn)實世界的提示和基準(zhǔn)測試中使用的提示之間，實際上存在著不小的差距：后者旨在只包含明確的、自包含的、最小呈現(xiàn)的問題，沒有關(guān)于如何解決它們的建議或意見。

需要注意的是，o1-preview響應(yīng)的延遲，特別是其「首個token的時間」，明顯高于GPT-4o。不過，o1-mini用更快的token推理速度彌補了「思考」的時間。

一些實測

- 詞匯約束

在官方示例中，o1在臭名昭著的「strawberry這個詞中有多少個R？」等「陷阱」任務(wù)上，有著不小的改進(jìn)。

為了驗證這一點，我們向o1-preview提出了一個新編寫的謎語：

「說出一個拉丁語源的英語形容詞，它以相同的字母開頭和結(jié)尾，總共有十一個字母，并且詞中所有元音按字母順序排列。」

在第一次嘗試中，模型成功解決了這個謎語，答案是：sententious。

但如果反復(fù)提問同一個，o1卻并不能次次做對：

sententious ?

facetiously ?

transparent ?

abstentious ?

facetiously ?

- 解碼密碼

同樣令人深刻的，還有一個解碼復(fù)雜密碼的例子。

類似的，我們也嘗試了這個提示詞的各種變體，包括ROT13密碼、Atbash密碼、Base64編碼、反轉(zhuǎn)字符串等各種組合。

然而，大多數(shù)測試都不成功——在7次嘗試中，o1-preview只有2次能夠解碼給出的加密信息（《沙丘》中的「迎恐禱詞」（the Litany Against Fear））。

在每個prompt中，o1都被要求從OpenAI給出的示例中推斷出一種編碼方式。

在以下每個測試中，o1都未能在一次嘗試中解碼目標(biāo)消息：

ROT13密碼 → 反轉(zhuǎn)字符串 → Base64編碼 → 反轉(zhuǎn)字符串

ROT13密碼 → Base64編碼 → ROT13密碼 → 反轉(zhuǎn)字符串

ROT13密碼 → Base64編碼 → ROT13密碼

ROT13密碼 → Base64編碼 → Atbash密碼

ROT13密碼 → Base58編碼

在第一次嘗試中成功解碼的兩個測試是：

Atbash密碼 → Base64編碼

ROT13密碼 → Base64編碼

這里展示了第一個成功的例子——其他測試除了使用的編碼不同外，都是相同的：

結(jié)論

總結(jié)來看，OpenAI的o1模型在推理能力方面都取得了重大突破，在AIME、Codeforces、Scale的SEAL排行榜等關(guān)鍵基準(zhǔn)測試中表現(xiàn)出色。

這些結(jié)果表明，o1-preview和o1-mini是解決復(fù)雜推理問題的強大工具。然而，要充分發(fā)揮這些模型的潛力，可能需要比用戶習(xí)慣的其他模型發(fā)布更多的實驗和嘗試。