效果可達(dá) OpanAI 同等模型 96%，國(guó)產(chǎn)開源 AI 語(yǔ)言模型 TigerBot 發(fā)布
作者：漾仔
根據(jù) OpenAI InstructGPT 論文在公開 NLP 數(shù)據(jù)集上的自動(dòng)評(píng)測(cè)，TigerBot-7B 已達(dá)到 OpenAI 同樣大小模型的綜合表現(xiàn)的 96%。?”
6 月 8 日消息，國(guó)產(chǎn)多模態(tài)大語(yǔ)言模型 TigerBot 近日正式發(fā)布，包含 70 億參數(shù)和 1800 億參數(shù)兩個(gè)版本，目前已經(jīng)在 GitHub 開源。
▲ 圖源 TigerBot 的 GitHub 頁(yè)面
據(jù)悉，TigerBot 帶來(lái)的創(chuàng)新主要在于：
- 提出指令完成監(jiān)督微調(diào)的創(chuàng)新算法提升模型可學(xué)習(xí)性。
- 運(yùn)用 ensemble 和 probabilistic modeling 的方法實(shí)現(xiàn)可控事實(shí)性和創(chuàng)造性。
- 在并行訓(xùn)練上突破 deep-speed 等主流框架中的內(nèi)存和通信問題。
此外，該模型還針對(duì)中文語(yǔ)言更不規(guī)則的分布，從 tokenizer 到訓(xùn)練算法上做了更適合的優(yōu)化。
研究人員陳燁在虎博科技官網(wǎng)表示：“該模型在只使用少量參數(shù)的情況下，就能快速理解人類提出了哪類問題。根據(jù) OpenAI InstructGPT 論文在公開 NLP 數(shù)據(jù)集上的自動(dòng)評(píng)測(cè)，TigerBot-7B 已達(dá)到 OpenAI 同樣大小模型的綜合表現(xiàn)的 96%。”
▲ 圖源 TigerBot 的 GitHub 頁(yè)面
據(jù)稱，其中 TigerBot-7B-base 的表現(xiàn)“優(yōu)于 OpenAI 同等可比模型” ，開源代碼包括基本訓(xùn)練和推理代碼，雙卡推理 180B 模型的量化和推理代碼。數(shù)據(jù)包括 100G 預(yù)訓(xùn)練數(shù)據(jù)，監(jiān)督微調(diào) 1G 或 100 萬(wàn)條數(shù)據(jù)。
IT之家小伙伴們可以在這里找到 GitHub 的開源項(xiàng)目。
責(zé)任編輯：姜華
來(lái)源：
IT之家
