在自然語言處理任務中，大型語言模型在零樣本和少樣本學習方面取得了令人印象深刻的結果。然而，所有模型都存在固有的局限性，往往只能通過進一步擴展來部分解決。具體來講，模型的局限性包括無法訪問最新信息、會對事實產生「信息幻覺」、低資源語言理解困難、缺乏進行精確計算的數學技能等等。

解決這些問題的一種簡單方法就是給模型配備外部工具，如搜索引擎、計算器或日歷。然而，現有方法通常依賴于大量的人工注釋，或將工具的使用限制在特定的任務設置下，使得語言模型與外部工具的結合使用難以推廣。

為了打破這種瓶頸，近期 Meta AI 提出了一種稱為 Toolformer 的新方法，使得語言模型學會「使用」各種外部工具。

論文地址：https://arxiv.org/pdf/2302.04761v1.pdf

Toolformer 很快就引起了人們的高度關注，有人認為這篇論文解決了目前大型語言模型的許多問題，稱贊道：「這是最近幾周最重要的論文」。

有人指出 Toolformer 以自監督學習的方式，僅用極少數樣本就讓大型語言模型學會使用一些 API 和工具，這是非常靈活且高效的：

甚至有人認為 Toolformer 將讓我們離通用人工智能（AGI）更近一步。

Toolformer 之所以能獲得如此高的評價，是因為它滿足了以下的實際需求：

• 大型語言模型應該在自監督的方式下學習工具的使用，而不需要大量的人工注釋。這一點很關鍵， 人工注釋的成本很高只是一方面，更重要的是人類認為有用的東西可能與模型認為有用的東西不同。
• 語言模型需要更全面地使用不受特定任務約束的工具。 

這明確打破了前文所述的瓶頸。我們來具體看一下 Toolformer 的方法和實驗結果。

方法

Toolformer 基于帶有 in-context learning（ICL）的大型語言模型從頭開始生成數據集（Schick and Schütze, 2021b; Honovich et al., 2022; Wang et al., 2022）的思路：只需給出少數幾個人類使用 API 的樣本，就可以讓 LM 用潛在的 API 調用標注一個巨大的語言建模數據集；然后使用自監督損失函數來確定哪些 API 調用實際上有助于模型預測未來的 token；最后根據對 LM 本身有用的 API 調用進行微調。

由于 Toolformer 與所使用的數據集無關，因此可以將其用于與模型預訓練完全相同的數據集，這確保了模型不會失去任何通用性和語言建模能力。

具體來說，該研究的目標是讓語言模型 M 具備一種能力 —— 通過 API 調用使用各種工具。這就要求每個 API 的輸入和輸出都可以表征為文本序列。這允許將 API 調用無縫插入到任何給定文本中，并使用特殊的 token 來標記每個此類調用的開始和結束。

該研究將每個 API 調用表示為一個元組

，其中 a_c 是 API 的名稱，i_c 是相應的輸入。給定具有相應結果 r 的 API 調用 c，該研究將不包括和包括其結果的 API 調用的線性化序列分別表示為：

其中，<API>，</API > 和「→」是特殊的 token。如下圖 1 所示，這種方法讓 LM 學會了控制各種工具，并為自己選擇在何時以及如何使用哪種工具。

給定數據集

，該研究首先將這個數據集轉換成一個增加了 API 調用的數據集 C*。這分三個步驟完成，如下圖 2 所示：首先，該研究利用 M 的 in-context learning 能力對大量潛在的 API 調用進行采樣，然后執行這些 API 調用，再檢查獲得的響應是否有助于預測未來的 token，以用作篩選標準。篩選之后，該研究合并對不同工具的 API 調用，最終生成數據集 C*，并在此數據集上微調 M 本身。

實驗及結果

該研究對各種不同的下游任務進行了實驗，結果表明：基于 6.7B 參數預訓練 GPT-J 模型的 Toolformer（學習過使用各種 API 和工具）在各種任務上明顯優于更大的 GPT-3 模型和其他幾個基線。

該研究在 LAMA 基準的 SQuAD、GoogleRE 和 T-REx 子集上對幾種模型進行了評估，實驗結果如下表 3 所示：

為了測試 Toolformer 的數學推理能力，該研究在 ASDiv、SVAMP 和 MAWPS 基準上進行了實驗。實驗表明，Toolformer 在大多情況下都使用了計算器工具，這明顯比 OPT （66B）和 GPT-3 （175B）略勝一籌。

在問答方面，該研究在 Web Questions、Natural Questions 和 TriviaQA 三個問答數據集上進行了實驗。Toolformer 明顯優于大小相同的基線模型，但遜于 GPT-3 (175B)。

在跨語言任務方面，該研究將 Toolformer 和 MLQA 上所有的基線模型進行了比較，結果如下表 6 所示：

為了研究日歷 API 的效用，該研究在 TEMPLAMA 和一個名為 DATESET 的新數據集上對幾種模型進行了實驗。Toolformer 優于所有基線，但沒有使用 TEMPLAMA 日歷工具。

除了驗證各種下游任務的性能改進之外，該研究還希望確保 Toolformer 的語言建模性能不會因為 API 調用的微調而降低。為此，該研究在兩個語言建模數據集上進行實驗來評估，模型的困惑度如下表 8 所示。

對于沒有任何 API 調用的語言建模來說，添加 API 調用無需花費任何成本。

最后，研究人員分析了隨著語言模型規模的擴大，向外部工具尋求幫助的能力對模型性能的影響，分析結果如下圖 4 所示

感興趣的讀者可以閱讀論文原文，了解更多研究細節。