百倍提升7B模型推理能力！顏水成團(tuán)隊(duì)攜手新加坡南洋理工大學(xué)發(fā)布Q*算法
自O(shè)penAI的Q項(xiàng)目曝光后，業(yè)內(nèi)相關(guān)討論始終層出不窮。 據(jù)現(xiàn)有信息匯總，Q項(xiàng)目被視作OpenAI在探索人工通用智能（Artificial General Intelligence, AGI）道路上的一次重大嘗試，有望在包括數(shù)學(xué)問(wèn)題解決能力、自主學(xué)習(xí)和自我改進(jìn)等多個(gè)層面對(duì)人工智能技術(shù)帶來(lái)革新性突破。
（英偉達(dá)科學(xué)家Jim Fan、圖靈獎(jiǎng)得主Yann LeCun等參與討論OpenAI的Q*實(shí)現(xiàn)方式） 圖片
（Meta科學(xué)家田淵棟則認(rèn)為Q是Q-learning和A的結(jié)合，且天然地適合推理任務(wù)，尤其在數(shù)
學(xué)推理方面）
不過(guò)迄今為止OpenAI沒(méi)有公開(kāi)關(guān)于Q算法的具體細(xì)節(jié)，其效果究竟如何我們并不得而知。 然而就在近日，一篇名為《Q: Improving Multi-step Reasoning for LLMs with Deliberative Planning》的論文在AI圈內(nèi)引發(fā)了不小的震蕩。
論文鏈接：??https://arxiv.org/abs/2406.14283??
論文中提出的Q算法不僅能夠幫助小模型達(dá)到參數(shù)量比其大數(shù)十倍、甚至上百倍模型的推理能力，大幅提升了小模型的性能，還顯著降低了計(jì)算資源的需求。
最值得關(guān)注的是，這篇論文竟然出自中國(guó)團(tuán)隊(duì)之手——由顏水成教授團(tuán)隊(duì)攜手新加坡南洋理工大學(xué)團(tuán)隊(duì)共同發(fā)布！
根據(jù)實(shí)驗(yàn)結(jié)果，Q成功幫助現(xiàn)有開(kāi)源模型在GSM8K、MATH和MBPP數(shù)據(jù)集上取得性能飛躍，評(píng)分分別超越了ChatGPT和Gemini Ultra。
（Q*在AI圈內(nèi)引發(fā)熱議）
（外網(wǎng)網(wǎng)友直呼「中國(guó)AI趕上來(lái)了！」）
在《Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning》論文中，研究人員首先將大語(yǔ)言模型的推理軌跡分解為若干個(gè)狀態(tài)。
對(duì)于每一個(gè)狀態(tài)，參考DeepCubeA中的設(shè)計(jì)，通過(guò)將定義Path Cost的g(s_t)函數(shù)和定義Accumulated Reward的Q*(s_t, a_t)集成到同一個(gè)f(s_t)函數(shù)內(nèi)，實(shí)現(xiàn)了對(duì)歷史狀態(tài)收益和未來(lái)期望收益的綜合考慮。
最后利用A搜索算法對(duì)狀態(tài)進(jìn)行最佳優(yōu)先搜索，實(shí)現(xiàn)了對(duì)復(fù)雜推理任務(wù)的全盤(pán)規(guī)劃，從而提升開(kāi)源模型在推理任務(wù)上的性能。
其中g(shù)(s_t)表示當(dāng)前軌跡中的多個(gè)歷史狀態(tài)，既{s1,...,s_t}，的聚合收益。
具體g(s_t)的函數(shù)形式可以通過(guò)人為定義，例如判斷當(dāng)前代碼是否符合語(yǔ)法規(guī)則等，或者通過(guò)構(gòu)建 Process Reward Model（PRM）進(jìn)行監(jiān)督學(xué)習(xí)得到；g(s_t)中的聚合方式可以為求和，最大值，最小值等。
為了獲得狀態(tài)-動(dòng)作對(duì)(s_t, a_t)的最優(yōu)Q值以實(shí)現(xiàn)規(guī)劃，研究人員在當(dāng)前LLM策略生成的數(shù)據(jù)上通過(guò)監(jiān)督學(xué)習(xí)的方式訓(xùn)練了一個(gè)代理Q值模型Q。
實(shí)驗(yàn)結(jié)果表明，顏水成團(tuán)隊(duì)本次所提出的Q框架，可以顯著地提升LLM的推理能力：
- 在GSM8K數(shù)據(jù)集上，Q幫助Llama-2-7b提升至80.8%的準(zhǔn)確率，超越了ChatGPT；
- 在MATH數(shù)據(jù)集上，Q幫助DeepSeek-Math-7b提升至55.4%的準(zhǔn)確率，超越了Gemini Ultra;
- 在MBPP數(shù)據(jù)集上，Q*幫助CodeQwen1.5-7b-Chat提升至77.0%的準(zhǔn)確率，縮小了與GPT-4的編程水平差距。
研究證明，Q能夠幫助參數(shù)量?jī)H為7b的小模型達(dá)到參數(shù)量比其大數(shù)十倍甚至百倍模型的推理能力，大幅提升模型的性能，并顯著降低了計(jì)算資源的需求。
顏水成團(tuán)隊(duì)表示，目前，Q的研究尚在初級(jí)階段，算法在各個(gè)環(huán)節(jié)還有進(jìn)一步的改進(jìn)空間。未來(lái)，團(tuán)隊(duì)會(huì)繼續(xù)深入此項(xiàng)研究，不斷提升國(guó)產(chǎn)開(kāi)源模型推理能力，打破OpenAI閉源封鎖，為人工智能前沿技術(shù)發(fā)展帶來(lái)全新可能。
本文轉(zhuǎn)自 新智元，作者：新智元
