比 o3 更快更準(zhǔn)？聽說有人打造了一個超強郵件助手 ART·E 原創(chuàng)
你有沒有遇到過這種情況？
突然收到一條消息：“我弟弟周五航班的時間是幾點？”
你打開郵箱，翻來覆去地查找，輸入關(guān)鍵詞，一頁一頁瀏覽，好不容易才找到那封關(guān)鍵郵件。
這種操作在 2025 年還存在，是不是有點反人類了？
最近，有一個項目就瞄準(zhǔn)了這個痛點，推出了一個名叫 ART·E 的電子郵件研究代理。它并不是那種“看起來很厲害”的模型，而是真正能幫你從海量郵件中快速準(zhǔn)確找到答案的工具。
最讓人驚訝的是，它的表現(xiàn)竟然超過了 o3，不僅回答正確率更高，運行速度更快，成本也低了將近 64 倍。
ART·E 是什么？它真的有用嗎？
ART·E 全稱 ART·E（可能是某個縮寫，但目前還沒公開），是一個通過強化學(xué)習(xí)訓(xùn)練出來的 AI 助手，專門用于從你的郵箱中查找和回答問題。
比如：
- “RSVP 方式是什么？”
- “修訂版 anexb.doc 文件在哪兒下載？”
- “公司差旅政策里關(guān)于酒店報銷的規(guī)定是什么？”
這些問題聽起來是不是很眼熟？沒錯，這就是我們?nèi)粘Ｉ钪薪?jīng)常碰到的真實場景。
而 ART·E 的目標(biāo)很簡單：讓你不再手動翻找郵件，直接發(fā)問，它就能給出答案。
更夸張的是，它不僅能回答出這些問題，還能告訴你這些答案來自哪幾封郵件，出處一目了然。
數(shù)據(jù)從何而來？Enron 郵件庫成了訓(xùn)練寶庫
為了訓(xùn)練這樣一個模型，首先需要一個龐大的數(shù)據(jù)集。
于是開發(fā)者們盯上了 Enron——這家在 2001 年因財務(wù)造假被起訴的能源公司。當(dāng)時公布的近 50 萬封郵件，意外地成為了研究人員的寶藏。
最終，他們從中挑選了 8 個員工的郵箱作為測試集，另外選了 20 個作為訓(xùn)練集。每個郵箱至少包含 5,000 封郵件，有些甚至超過 10,000 封。
光有郵件還不夠，還需要大量真實的問題與答案對來模擬用戶可能提出的查詢。
于是，GPT-4.11 被派上用場了。每批處理 20 封郵件，自動生成多個問題和答案，同時還會打一個“how_realistic”分值，來過濾掉那些不合理的提問。
最終，得到了一個包含約 4000 個問題的合成數(shù)據(jù)集。
舉幾個真實的例子看看你就明白了：
問題 | 答案 | 來源 |
周二下午與 EES 會議討論什么問題？ | 強制公用事業(yè)公司支付拖欠的 PX 信用額度、是否應(yīng)向客戶收取新的 1 分附加費、是否應(yīng)將客戶重新轉(zhuǎn)回捆綁式服務(wù)等 | Expand Source |
我去科羅拉多斯普林斯的大陸航空航班確認(rèn)號是多少？ | N1BTZH | Expand Source |
e-commerce交易禁運國家有哪些？ | 巴林、伊拉克、科威特、黎巴嫩、利比亞、阿曼、卡塔爾、沙特阿拉伯、敘利亞、阿聯(lián)酋、也門 | Expand Source |
這些數(shù)據(jù)既貼近現(xiàn)實，又具備代表性，非常適合用來訓(xùn)練和評估模型。
工具設(shè)計簡潔高效，只圍繞核心任務(wù)展開
為了讓模型專注于核心任務(wù)，環(huán)境的設(shè)計也被盡可能簡化。
提供了三個基礎(chǔ)工具函數(shù)：
def search_emails(keywords, sent_after=None, sent_before):
"""根據(jù)關(guān)鍵詞及時間范圍搜索郵件"""
# 返回最多10封匹配的郵件ID和摘要片段
def read_email(message_id):
"""讀取指定ID郵件的完整內(nèi)容"""
def return_final_answer(answer: str, sources: list[str]):
"""返回最終答案及引用郵件ID列表"""這三個工具已經(jīng)足夠讓模型完成大部分的操作了。
所有數(shù)據(jù)都存儲在一個 SQLite 數(shù)據(jù)庫中，并使用 FTS5 全文檢索引擎來加速搜索。
整個流程也非常簡單：
- 接收初始提示詞：任務(wù)描述 + 用戶問題；
- LLM 生成下一步動作（調(diào)用哪個工具）；
- 執(zhí)行工具，獲取結(jié)果；
- 將工具返回的信息加入上下文；
- 重復(fù)上述步驟，直到返回答案或達(dá)到最大步數(shù)（默認(rèn)為 10）。
沒有復(fù)雜的遞歸邏輯，也沒有花里胡哨的中間層，就是最為直接的執(zhí)行路徑。
測試現(xiàn)成模型：別急著訓(xùn)練，先看看大模型能干啥
很多人拿到新任務(wù)第一反應(yīng)就是“趕緊訓(xùn)練一個模型”，但在正式訓(xùn)練之前，先嘗試一些現(xiàn)成的大模型其實是非常有必要的。
原因有幾個：
- 可能你發(fā)現(xiàn)現(xiàn)有的模型已經(jīng)做得很好了，根本不需要再訓(xùn)練；
- 很多時候模型表現(xiàn)差是因為提示詞缺失、工具不可靠或者任務(wù)模糊，這些問題 RL 也解決不了；
- 最重要的是，當(dāng)你最終超越這些模型時，那一刻的成就感會讓你覺得一切努力都值得。
所以這次也測試了不少主流模型，包括 GPT-4o、Qwen-14B、o3、o4-mini 等等。
并通過 LLM-as-judge 的方式來做自動評估：
def judge_answer(golden_answer, model_answer):
"""判斷模型回答是否正確"""
prompt = f"請比較以下兩個答案是否一致：\n\nGolden Answer: {golden_answer}\nModel Answer: {model_answer}"
response = call_llm(prompt)
return response.strip().lower() == "yes"結(jié)果顯示，即使是目前最強的大模型，在這類任務(wù)上的準(zhǔn)確率也不高。這就為我們提供了改進的空間。
獎勵函數(shù)怎么設(shè)計？告訴模型你要什么
這是整個過程中最關(guān)鍵的一環(huán)之一。
很多人都會誤解：我已經(jīng)有一個評價函數(shù)了，還需要什么獎勵函數(shù)？
其實不然。雖然我們可以用 LLM 作為裁判來衡量答案是否正確，但這只是一個最終目標(biāo)。而在 RL 中，我們還可以引導(dǎo)模型同時優(yōu)化多個指標(biāo)，比如：
- 準(zhǔn)確性（Correctness）
- 幻覺抑制（Hallucination Penalty）
- 步數(shù)最小化（Turn Minimization）
最終采用的獎勵函數(shù)如下：
def calculate_reward(correct, hallucinated, turns):
base_reward = 1.0 if correct else -1.0
hallucination_penalty = -0.5 if hallucinated else 0
turn_bonus = 0.1 * (10 - turns) / 10 # 鼓勵更少步驟
return base_reward + hallucination_penalty + turn_bonus其中：
- ?
?correct?? 表示答案是否正確； - ?
?hallucinated?? 表示是否虛構(gòu)答案； - ?
?turns?? 是完成任務(wù)所用的步驟數(shù)。
這個函數(shù)背后的核心思想在于：既要鼓勵模型回答正確，又要懲罰錯誤行為（如幻覺），還要讓它盡可能高效完成任務(wù)。
訓(xùn)練過程揭秘：GRPO + ART 庫實戰(zhàn)
訓(xùn)練部分使用的是他們自己開源的 ART（Agent Reinforcement Trainer）庫，采用 Group Relative Policy Optimization（GRPO）算法。
整個流程非常清晰：
- 加載一批問題（每次加載 12 個）；
- 每個問題跑 4 次軌跡（trajectory）；
- 對每個軌跡計算獎勵；
- 使用 GRPO 公式更新模型權(quán)重；
- 每 30 步運行一次驗證集測試；
- 直到模型在驗證集上停止提升為止。
完整的訓(xùn)練腳本只有幾十行代碼：
from art.trainer import GRPOTrainer
from art.envs.email_agent_env import EmailAgentEnv
env = EmailAgentEnv()
trainer = GRPOTrainer(env=env, model="qwen-14b", reward_func=calculate_reward)
# 開始訓(xùn)練
trainer.train(
dataset_path="data/synthetic_qa_dataset.json",
num_epochs=2,
learning_rate=1.2e-5,
batch_size=12,
rollout_per_questinotallow=4,
save_dir="results/art-e/",
log_to_wandb=True
)訓(xùn)練監(jiān)控方面也有一些小技巧：
- 觀察獎勵標(biāo)準(zhǔn)差：如果所有軌跡得分接近，說明模型陷入局部最優(yōu)；
- 跟蹤多個指標(biāo)：包括準(zhǔn)確率、幻覺率、平均步數(shù)等；
- 定期查看模型輸出：防止 Reward Hacking，比如模型學(xué)會了重復(fù)調(diào)用同一個工具來“占滿”回合數(shù)從而拿更多獎勵。
最終，整個訓(xùn)練在一塊 H100 GPU 上完成，耗時不到一天，總成本約為 80 美元。
性能對比：ART·E vs o3，誰更勝一籌？
最后來看一下 ART·E 的實際表現(xiàn)：
指標(biāo) | ART·E | o3 |
準(zhǔn)確率 | 89% | 70% |
平均步數(shù) | 3.2 | 4.1 |
運行成本（$/query） | $0.002 | $0.128 |
幻覺率 | 2.3% | 8.9% |
可以看到，ART·E 不僅在準(zhǔn)確性上遠(yuǎn)超 o3，在成本和效率上也實現(xiàn)了質(zhì)的飛躍。更關(guān)鍵的是，它能回答很多 o3 根本無法理解的問題。
結(jié)語：通往通用 Agent 的一小步
ART·E 的誕生并不是終點，而是探索真正智能代理（Intelligent Agent）旅程中的重要一步。
它證明了一個道理：即使是最前沿的問題，也可以通過合理的方法、合適的數(shù)據(jù)以及一點巧思，打造出令人驚艷的產(chǎn)品。
本文轉(zhuǎn)載自??Halo咯咯?? 作者：基咯咯
