面試題：大模型的FunctionCalling如何訓(xùn)練得到？

發(fā)布于 2025-5-8 06:32

瀏覽

0收藏

主要來(lái)說(shuō)，F(xiàn)unction Calling 的訓(xùn)練主要涉及數(shù)據(jù)構(gòu)造、模型架構(gòu)適配、多階段微調(diào)等關(guān)鍵環(huán)節(jié)。

主要開(kāi)源方案可以參考Llama3.1或者Qwen-Agent，基本上在Llama3的技術(shù)報(bào)告（ https://arxiv.org/pdf/2407.21783）中就可以知道FunctionCalling的實(shí)現(xiàn)路徑。

以下是Llama3的技術(shù)報(bào)告里面如何用二階段訓(xùn)練來(lái)提升Function Calling的準(zhǔn)確性。

面試題：大模型的FunctionCalling如何訓(xùn)練得到？-AI.x社區(qū)

一、數(shù)據(jù)預(yù)處理

Llama3設(shè)計(jì)了一套多階段數(shù)據(jù)篩選策略，通過(guò)質(zhì)量評(píng)估與內(nèi)容優(yōu)化提升訓(xùn)練數(shù)據(jù)價(jià)值：

1. 主題分級(jí)體系

構(gòu)建基于Llama 3 8B的層級(jí)分類系統(tǒng)，首先將數(shù)據(jù)劃分為"數(shù)學(xué)推理"等宏觀類別；
在頂層分類下建立細(xì)粒度子類別（如"幾何與三角學(xué)"），形成樹(shù)狀知識(shí)結(jié)構(gòu)。

2. 多維質(zhì)量評(píng)估

混合評(píng)估模型：結(jié)合獎(jiǎng)勵(lì)模型(RM)與Llama質(zhì)量判別器

通用文本：準(zhǔn)確性、指令合規(guī)性、表達(dá)規(guī)范（三級(jí)評(píng)分）

編程數(shù)據(jù)：錯(cuò)誤識(shí)別度、需求匹配度（二級(jí)評(píng)分）

RM篩選：保留評(píng)分前25%的高質(zhì)量樣本
智能質(zhì)量檢測(cè)：通過(guò)Llama 3進(jìn)行多維度評(píng)估
采用聯(lián)合篩選機(jī)制，保留至少一個(gè)評(píng)估體系認(rèn)證的高質(zhì)量樣本

3. 難度量化建模

復(fù)雜性雙因素評(píng)估：

意圖密度分析(Instag)：通過(guò)Llama 3 70B標(biāo)記對(duì)話意圖數(shù)量

難度分級(jí)系統(tǒng)：基于三階難度評(píng)分框架（簡(jiǎn)易/中等/復(fù)雜）

生成綜合難度指標(biāo)：意圖數(shù)量 × 人工難度分級(jí)

4. 語(yǔ)義優(yōu)化處理

特征聚類：采用RoBERTa構(gòu)建對(duì)話語(yǔ)義向量空間
分級(jí)去重策略：

按質(zhì)量×難度綜合得分降序排列

動(dòng)態(tài)相似度閾值過(guò)濾（余弦相似度<0.85）

貪婪選擇算法保留最具代表性的樣本

該方案通過(guò)質(zhì)量-難度聯(lián)合建模與語(yǔ)義空間優(yōu)化，在保證數(shù)據(jù)多樣性的前提下，顯著提升訓(xùn)練數(shù)據(jù)的有效信息密度。

實(shí)證研究表明，該方法可使模型在復(fù)雜推理任務(wù)上的準(zhǔn)確率提升17%，同時(shí)減少28%的訓(xùn)練收斂時(shí)間。

二、訓(xùn)練流程

構(gòu)建數(shù)據(jù)集

主要是將函數(shù)名、參數(shù)類型、功能說(shuō)明等以結(jié)構(gòu)化文本輸入模型（如JSON格式）。

[
  {"role": "user", "content": "查詢北京明天天氣"},
  {"role": "assistant", "tool_calls": [{"name": "get_weather", "arguments": {"location": "北京"}}]},
  {"role": "tool", "name": "get_weather", "content": "{\"temperature\": 22}"},
  {"role": "assistant", "content": "北京明天氣溫22℃"}
]

其中，tool這一層就是給大模型當(dāng)做參數(shù)判斷邏輯輸入，模擬調(diào)度??獲取天氣接口??后返回最終結(jié)果。

二階段訓(xùn)練

預(yù)訓(xùn)練階段：模型在通用語(yǔ)料庫(kù)上進(jìn)行基礎(chǔ)語(yǔ)言建模訓(xùn)練，未涉及工具調(diào)用能力；
后訓(xùn)練微調(diào)（Post-Training）：

合成數(shù)據(jù)生成：通過(guò)預(yù)訓(xùn)練模型生成包含函數(shù)調(diào)用的對(duì)話數(shù)據(jù)，例如模擬用戶提問(wèn)和對(duì)應(yīng)的工具調(diào)用參數(shù)；

人工標(biāo)注迭代：標(biāo)注員逐步標(biāo)注復(fù)雜場(chǎng)景，例如從單輪工具調(diào)用過(guò)渡到多輪交互，并加入異常參數(shù)處理樣本（如無(wú)效參數(shù)、多工具選擇等）。

三、訓(xùn)練方法

監(jiān)督微調(diào)（SFT）

使用標(biāo)注數(shù)據(jù)對(duì)模型進(jìn)行指令微調(diào)，強(qiáng)化其對(duì)工具調(diào)用的格式理解和參數(shù)生成能力。（示例：模型輸入包含工具定義的Prompt，輸出需嚴(yán)格匹配函數(shù)名及參數(shù)格式。）

強(qiáng)化學(xué)習(xí)（RLHF/DPO）

對(duì)工具調(diào)用的準(zhǔn)確性和結(jié)果整合能力進(jìn)行偏好排序，例如標(biāo)注員對(duì)模型的工具調(diào)用決策打分，優(yōu)化模型生成質(zhì)量。

多任務(wù)學(xué)習(xí)

同時(shí)訓(xùn)練模型完成常規(guī)對(duì)話和工具調(diào)用任務(wù)，避免單一任務(wù)過(guò)擬合。在報(bào)告中，Llama發(fā)現(xiàn) PPO 沒(méi)有 DPO 好，所以只用了 DPO，在preference data 中，有5.89%是和reasoning以及tool相關(guān)的。面試題：大模型的FunctionCalling如何訓(xùn)練得到？-AI.x社區(qū)