精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

清華等開源「工具學習基準」ToolBench,微調模型ToolLLaMA性能超越ChatGPT

人工智能
人工智能基礎模型也類似,如果僅靠訓練階段得到的權重,使用場景就會非常受限,而最近提出的工具學習(tool learning),將特定領域的專用工具與大規模基礎模型相結合,可以實現更高的效率、性能。

人類具有創造和利用工具的能力,使得我們可以突破身體的限制,探索更廣闊的世界。 

人工智能基礎模型也類似,如果僅靠訓練階段得到的權重,使用場景就會非常受限,而最近提出的工具學習(tool learning),將特定領域的專用工具與大規模基礎模型相結合,可以實現更高的效率、性能。

不過目前工具學習的相關研究還不夠深入,也缺乏相關的開源數據和代碼。

最近,清華大學自然語言處理實驗室等支持的開源社區OpenBMB (Open Lab for Big Model Base)發布了ToolBench項目,可以幫助開發者構建開源、大規模、高質量的指令調優數據,促進構建具有通用工具使用能力的大型語言模型。

圖片

倉庫鏈接:https://github.com/OpenBMB/ToolBench

ToolBench倉庫中提供了相關數據集、訓練和評估腳本,以及在ToolBench上微調的功能模型ToolLLaMA,具體特點為:

1. 支持單工具和多工具方案

其中單工具設置遵循LangChain提示風格,多工具設置遵循AutoGPT的提示風格。

2. 模型回復不僅包括最終答案,還包含模型的思維鏈過程、工具執行和工具執行結果

3. 支持真實世界級別的復雜性,支持多步工具調用

4. 豐富的API,可用于現實世界中的場景,如天氣信息、搜索、股票更新和PowerPoint自動化

5. 所有的數據都是由OpenAI API自動生成并由開發團隊進行過濾,數據的創建過程很容易擴展

不過需要注意的是,目前發布的數據還不是最終版本,研究人員仍然在對數據進行后處理來提高數據質量,并增加真實世界工具的覆蓋范圍。

ToolBench

ToolBench的總體思路是基于BMTools,在有監督數據中訓練大型語言模型。

圖片

倉庫中包含31.2萬次真實API調用得到的9800條數據,涵蓋單工具場景和多工具場景,下面是單工具的統計信息。

圖片

其中每行數據都是一個json dict,包含數據創建的提示模板、工具使用的人工指令(查詢)、中間思維/工具執行循環和最終答案。

Tool Descrition:
BMTools Tool_name: translation
Tool action: get_translation
action_input: {"text": target texts, "tgt_lang": target language}


Generated Data:
{
    "prompt": "Answer the following questions as best you can. Specifically, you have access to the following APIs:\n\nget_translation: . Your input should be a json (args json schema): {{\"text\" : string, \"tgt_lang\" : string, }} The Action to trigger this API should be get_translation and the input parameters should be a json dict string. Pay attention to the type of parameters.\n\nUse the following format:\n\nQuestion: the input question you must answer\nThought: you should always think about what to do\nAction: the action to take, should be one of [get_translation]\nAction Input: the input to the action\nObservation: the result of the action\n... (this Thought/Action/Action Input/Observation can repeat N times, max 7 times)\nThought: I now know the final answer\nFinal Answer: the final answer to the original input question\n\nBegin! Remember: (1) Follow the format, i.e,\nThought:\nAction:\nAction Input:\nObservation:\nFinal Answer:\n (2) Provide as much as useful information in your Final Answer. (3) Do not make up anything, and if your Observation has no link, DO NOT hallucihate one. (4) If you have enough information and want to stop the process, please use \nThought: I have got enough information\nFinal Answer: **your response. \n The Action: MUST be one of the following:get_translation\nQuestion: {input}\n Agent scratchpad (history actions):\n {agent_scratchpad}",
    "query": "My intention is to convert the data provided in ?? ?? ??????? ??????? ?????? ???????? into Arabic(ara).\n",
    "chains": [
        {
            "thought": "I need to use the get_translation API to convert the text into Arabic.",
            "action": "get_translation",
            "action_input": "{\"text\": \"What are the three branches of the military?\", \"tgt_lang\": \"ara\"}",
            "observation": "\"?? ?? ?????? ??????? ????? ?\""
        }
    ],
    "answer": "The translation of \"What are the three branches of the military?\" into Arabic is \"?? ?? ?????? ??????? ????? ?\"."
}

模型實驗

機器評估:研究人員對每個工具隨機抽取100個鏈步(chain steps)來構建機器評估測試平臺,平均27個最終步驟和73個中間工具調用步驟,其中最終步驟的評估使用Rouge-L指標,中間步驟的評估使用ExactMatch指標進行評估。


圖片

人工評估:在天氣、地圖、股票、翻譯、化學和WolframAlpha工具中隨機抽取10個query,然后評估工具調用過程的通過率、最終答案以及和ChatGPT最終答案的比較。

ChatGPT評估:通過ChatGPT對LLaMA和ChatGPT的答案和工具使用鏈進行自動評估。

評估結果如下(分數越高越好),可以看到ToolLLaMA在不同場景下與ChatGPT的性能相同或更好。

圖片

工具學習

在清華大學、人民大學、北京郵電大學等個國內外知名高校和大學聯合發布的一篇論文中,對工具學習進行了系統的研究,介紹了工具學習的背景,包括認知起源、基礎模型的范式轉變,以及工具和模型的互補作用。

圖片

論文鏈接:https://arxiv.org/pdf/2304.08354.pdf

文中還回顧了現有的工具學習研究,包括工具增強型和工具導向型學習,并制定了一個通用的工具學習框架:從理解用戶指令開始,模型應該學會把一個復雜的任務分解成幾個子任務,通過推理動態地調整計劃,并通過選擇合適的工具有效地征服每個子任務。

文中還討論了如何訓練模型以提高工具使用能力并促進工具學習的普及。

考慮到之前的工作中缺乏系統的工具學習評估,研究人員用17種有代表性的工具進行了實驗,并展示了當前基礎模型在熟練利用工具方面的潛力。

論文最后討論了幾個需要進一步研究的工具學習的開放性問題,例如確保安全和可信賴的工具使用、用基礎模型實現工具創建,以及解決個性化的難題。

參考資料:

https://github.com/OpenBMB/ToolBench

責任編輯:武曉燕 來源: 新智元
相關推薦

2023-08-02 13:50:06

2024-04-18 10:39:57

2025-05-28 11:46:18

開源模型數據

2025-09-01 08:54:00

2025-02-05 12:53:21

2025-08-15 12:53:15

2023-10-17 12:33:27

AI模型

2023-07-04 10:18:25

開源模型

2023-06-05 12:32:48

模型論文

2024-01-03 12:56:39

2021-11-23 09:30:34

架構AI技術

2025-02-06 14:28:16

2025-07-24 11:38:40

2025-03-19 09:15:00

AI算法模型

2023-09-11 15:57:16

人工智能模型GPT-4

2023-08-08 14:36:11

模型AI

2024-10-15 13:07:38

2023-10-16 13:28:00

數據AI

2024-03-06 18:09:06

Linux性能工具

2023-09-26 11:58:32

點贊
收藏

51CTO技術棧公眾號

亚洲欧美丝袜中文综合| 日本免费网站视频| 欧美日韩不卡| 亚洲色图制服诱惑| 国产日韩一区二区三区| 国产成人无码av| 日本道不卡免费一区| 日韩视频123| 可以在线看的黄色网址| 黄网站在线播放| 99久久99久久免费精品蜜臀| 国产精国产精品| 国产这里有精品| 亚洲桃色综合影院| 欧美一级在线免费| 国产天堂在线播放| 深夜国产在线播放| 欧美极品美女视频| 国产精品一区而去| 一级淫片免费看| 一本色道久久| 久久夜色精品国产欧美乱| 亚洲天堂资源在线| 激情综合五月| 欧美综合一区二区| 青青青国产在线观看| 日本中文字幕在线观看| 91丨九色porny丨蝌蚪| 91香蕉亚洲精品| 中文字幕一区二区三区四区欧美| 欧美日韩在线大尺度| 色久欧美在线视频观看| 国产制服丝袜在线| 亚洲亚洲一区二区三区| 欧美精品亚洲一区二区在线播放| 欧美日韩中文在线视频| 国产在线拍揄自揄拍视频 | 色噜噜狠狠一区二区三区果冻| 在线一区二区视频| 女同性恋一区二区| 国产片在线观看| av在线播放成人| 亚洲精品免费网站| 一区不卡在线观看| 欧美aⅴ一区二区三区视频| 91爱爱小视频k| 国产精品1234区| 欧美视频福利| 久久久国产视频| 国产性猛交xx乱| 亚洲人成亚洲精品| 亚洲精品suv精品一区二区| 不卡的一区二区| 四虎影视国产精品| 在线一区二区三区四区| 黄www在线观看| 国产欧洲在线| 亚洲高清一区二区三区| 热久久最新网址| 久操视频在线免费播放| 欧美国产日韩a欧美在线观看| 蜜桃视频在线观看91| 欧美 日韩 国产 精品| 成人午夜激情影院| 国产主播一区二区三区四区| 全国男人的天堂网| 97久久超碰国产精品| 裸体丰满少妇做受久久99精品| 人人妻人人澡人人爽人人欧美一区| 高清国产一区二区三区| 国产精品久久久一区二区三区| 丰满人妻熟女aⅴ一区| 国产91富婆露脸刺激对白| 成人做爰66片免费看网站| 亚洲精品18在线观看| yourporn久久国产精品| 久久国产精品一区二区三区四区 | 日韩视频一区在线观看| 亚洲少妇一区二区| 99这里只有精品视频| 亚洲丁香婷深爱综合| 亚洲综合自拍网| 国产精品一区二区99| 亚洲新中文字幕| 情侣偷拍对白清晰饥渴难耐| 亚洲欧美一区在线| 97成人精品区在线播放| 日本丰满少妇做爰爽爽| 精品一区二区三区在线播放| 亚洲一区中文字幕| 北条麻妃在线视频观看| 六月婷婷综合网| 972aa.com艺术欧美| 欧美深深色噜噜狠狠yyy| 涩爱av在线播放一区二区| 国产欧美日韩麻豆91| 亚洲av首页在线| 国产精品原创| 欧美性色黄大片手机版| 91精产国品一二三| 亚洲人成网77777色在线播放 | 黄色小视频在线免费观看| 国产精品看片你懂得| 成年人视频网站免费| 成人在线爆射| 日韩午夜中文字幕| 亚洲AV无码片久久精品| 91精品国产视频| 国产91|九色| 91在线精品入口| 99国产精品久久久久| 在线观看国产一区| 国产精品一区二区日韩| 欧美一区二区视频免费观看| 在线观看日韩精品视频| 伊人情人综合网| 国产97在线观看| 黄色福利在线观看| 91小视频免费观看| 91精品国产综合久久精品app| 性活交片大全免费看| 欧美日韩国产传媒| 97热精品视频官网| 97人妻一区二区精品免费视频| 不卡av电影在线播放| 亚洲制服中文| 欧美成人影院| 欧美精品一区二区三区蜜桃视频| jizz18女人高潮| 性欧美videos另类喷潮| 97久草视频| 麻豆传媒视频在线观看| 色哟哟在线观看一区二区三区| 久久久高清视频| 欧美/亚洲一区| 国产精品视频资源| 久久国产精品高清一区二区三区| 亚洲国产美国国产综合一区二区| 国产一二三区av| 九九综合九九| 18性欧美xxxⅹ性满足| www黄色网址| 亚洲精品水蜜桃| 亚洲天堂av一区二区三区| 日韩电影免费网址| 国产aⅴ精品一区二区三区久久| 久久精品亚洲国产| 中文字幕人妻互换av久久 | 亚洲一区二区在线免费观看视频 | 精品国产亚洲在线| 国产三级国产精品国产国在线观看| 日韩国产高清在线| 日韩高清av| 欧美性xxx| 亚洲香蕉成视频在线观看| 尤物视频免费观看| 久久久不卡影院| 久久久久久久激情| 国产精品亚洲二区| 国产精品久久久一区| 国产大学生校花援交在线播放| 色噜噜狠狠色综合中国| 特级西西www444人体聚色 | 最近中文字幕一区二区| 精品久久久久久久久久久aⅴ| 欧洲精品毛片网站| 高清中文字幕一区二区三区| 在线观看视频一区二区欧美日韩| 中国女人特级毛片| 卡一卡二国产精品| 综合一区中文字幕| 一区二区三区亚洲变态调教大结局 | 成人知道污网站| 欧美日韩国产91| 亚洲爱爱综合网| 亚洲综合一区二区精品导航| 中文字幕在线国产| 午夜在线播放视频欧美| 日本视频精品一区| 欧美网站免费| 欧美精品免费在线| 香蕉视频免费看| 色综合色狠狠综合色| 又嫩又硬又黄又爽的视频| 韩国精品在线观看| 人体内射精一区二区三区| 欧美理伦片在线播放| 国产精品96久久久久久| 天堂资源在线中文| 日韩片之四级片| 丰满少妇乱子伦精品看片| 欧美激情一区不卡| 少妇愉情理伦片bd| 亚洲欧美日本日韩| 国产又大又长又粗又黄| 第一区第二区在线| 国产精品91久久久| 黄页网站在线| 一区二区三区国产视频| 99视频在线观看免费| 狠狠色噜噜狠狠狠狠97| 色哟哟一一国产精品| 99久久婷婷国产综合精品| 国产原创精品在线| 亚洲最黄网站| 日韩视频在线免费播放| 无码日韩精品一区二区免费| 91夜夜未满十八勿入爽爽影院| 国产精品蜜芽在线观看| 日韩视频免费在线观看| 日韩资源在线| 欧美xxxx老人做受| 影音先锋黄色网址| 精品成人乱色一区二区| 天天看天天摸天天操| 久久亚洲一区二区三区四区| 中文字幕乱妇无码av在线| 日韩高清不卡一区二区| 国产欧美日韩网站| 一区二区影院| 亚洲午夜久久久影院伊人| 麻豆一区一区三区四区| 亚洲综合日韩在线| 成人在线免费电影网站| 青草热久免费精品视频| 五月婷婷视频在线观看| www.久久久久| 黄色在线小视频| 亚洲黄色在线观看| www.黄色片| 欧美片网站yy| 青青艹在线观看| 日韩欧美在线免费| 精品久久免费视频| 亚洲一区二区三区视频在线播放| 99久久精品久久亚洲精品| 国产婷婷色一区二区三区在线| 人妻av一区二区| 国产精品一区二区在线看| 日韩不卡一二三| 日本va欧美va瓶| 日韩有码免费视频| 香蕉久久夜色精品国产| 男人添女人下部高潮视频在观看 | 婷婷五月综合缴情在线视频| 欧美va天堂在线| 在线无限看免费粉色视频| 欧美日韩伦理| 亚洲国产欧美不卡在线观看| 精品国产aⅴ| 色综合影院在线观看| 教室别恋欧美无删减版| 欧洲精品国产| 激情综合网站| 亚洲乱码一区二区三区| 成人黄色av| 中文字幕欧美人与畜| 欧美顶级大胆免费视频| 热这里只有精品| 亚洲视频电影在线| 国产在线视频在线| 激情久久一区| 成年人观看网站| 日韩精品一卡二卡三卡四卡无卡| 日韩欧美在线免费观看视频| 免费在线观看一区二区三区| 国产精品v日韩精品v在线观看| 久久精品国产99| 国产高清av片| 国产99久久久精品| 国产精品一区二区三区毛片淫片 | 国产露出视频在线观看| 亚洲一区www| 色综合久久影院| 久久97久久97精品免视看| av电影在线免费| 国产97在线播放| 亚洲人成777| 国产精品v欧美精品v日韩精品| 欧美三级自拍| 亚洲国产成人不卡| 欧美激情亚洲| 男人天堂999| 麻豆久久一区二区| 97中文字幕在线观看| 91丝袜美腿高跟国产极品老师| 久久久久久久久久久久久久久| 国产精品福利影院| 国产亚洲欧美久久久久| 色天天综合色天天久久| 国产美女三级无套内谢| 精品电影一区二区| 国产高清视频在线| 久久999免费视频| 97久久香蕉国产线看观看| 96国产粉嫩美女| 要久久电视剧全集免费| 9l视频自拍9l视频自拍| av成人黄色| 一区二区久久精品| 成人国产精品免费观看视频| www.黄色在线| 亚洲中国最大av网站| 日本中文字幕在线观看视频| 日韩一区二区在线看| 青青九九免费视频在线| 草民午夜欧美限制a级福利片| 蜜桃麻豆av在线| 91久久国产精品91久久性色| 亚洲精品小区久久久久久| eeuss中文| 丝袜亚洲精品中文字幕一区| 中文在线字幕观看| 国产精品短视频| 好看的av在线| 欧美变态凌虐bdsm| 亚乱亚乱亚洲乱妇| 欧美中文在线字幕| 最新国产一区二区| 一本一生久久a久久精品综合蜜| 亚洲人成在线影院| 制服下的诱惑暮生| 国产精品丝袜黑色高跟| 国产亚洲自拍av| 在线播放中文一区| 国产片在线观看| 浅井舞香一区二区| 琪琪久久久久日韩精品 | 国产精品入口66mio| 色偷偷中文字幕| 国产精品久久久一区麻豆最新章节| 欧美日韩综合在线观看| 欧美xxxxxxxx| 97超碰资源站在线观看| 国产精品中文字幕在线| 国产一区不卡| 日韩中文字幕二区| 91原创在线视频| 国产午夜小视频| 日韩美女视频一区二区在线观看| 一级毛片视频在线观看| 日韩av手机在线看| 九九久久婷婷| 日本成年人网址| 99国产精品国产精品毛片| 欧美日韩中文视频| 精品噜噜噜噜久久久久久久久试看| 国内外激情在线| 成人av资源在线播放| 日韩中文首页| 日韩精品视频一二三| 中文av字幕一区| 欧美激情一区二区三区免费观看 | 成人h片在线播放免费网站| 全球成人免费直播| mm131亚洲精品| 国产精品久久久久影院色老大| 中文字幕乱码人妻无码久久| 丝袜亚洲另类欧美重口| 亚洲青青久久| av一区二区三区免费观看| 成人精品视频一区二区三区| 国产精品99re| 亚洲欧洲美洲在线综合| 久久亚洲精品爱爱| 尤物国产精品| 国产精品69毛片高清亚洲| 精品午夜福利视频| 日韩av一卡二卡| 性欧美gay| 亚洲永久激情精品| 国产91色综合久久免费分享| 日本一区二区三区免费视频| 日韩国产欧美区| av成人免费| 日本a级片在线观看| 成人h版在线观看| 国产亚洲欧美在线精品| 日韩中文在线不卡| 亚洲第一二区| 久久久噜噜噜www成人网| 国产欧美视频一区二区| 国产裸体无遮挡| 国内精品久久久久影院 日本资源| 亚洲动漫精品| 污污的网站免费| 亚洲国产婷婷综合在线精品| 青青草视频在线观看| 成人在线激情视频| 国产欧美在线| 岛国片在线免费观看| 亚洲精品一区二区三区香蕉 | 国产日韩精品电影| 亚洲性图久久| 69xxx免费| 亚洲激情成人网| 亚洲精品66| av网站在线观看不卡| 亚洲视频中文字幕| 日韩偷拍自拍|