一、概述

?Title:STaR: Bootstrapping Reasoning With Reasoning

?URL:?? https://arxiv.org/abs/2203.14465??

?Authors:Eric Zelikman, Yuhuai Wu, Jesse Mu, Noah D. Goodman

?Code:?? https://github.com/ezelikman/STaR??

1 Motivation

?Step-by-step推理步驟生成可以提升語言模型在復雜推理任務（如數學或常識問答）上的性能，但是當前要讓LLM能生成rationale推理過程，要么需要構建龐大的推理數據集，要么在只使用少量示例（但推理時犧牲了準確性）。

?需要一種方法來利用少量的推理示例和大量未經過推理的數據來提升模型的推理能力。

2 Methods

1 省流版總結：

• 使用少量推理示例（few-shot）引導語言模型生成多個問題的推理Rational過程。
• 對于模型生成的錯誤答案，通過提供正確答案（Hint）來生成新的推理過程（稱為“rationalization”）。
• 在所有最終生成正確答案的推理上微調模型（Finetune）。
• 重復上述過程，直到performance不再提升（注意每次都使用original的預模型進行continually training來避免overfitting）。

2 專業版總結：

本文提出了一種名為“Self-Taught Reasoner”（STaR）的方法來解決語言模型在復雜推理任務上性能提升的問題。**STaR方法的核心思想是通過迭代地利用少量推理示例（rationales）和大量無推理數據集，逐步引導模型提升進行復雜推理的能力。**具體來說，STaR方法包括以下幾個步驟：

• Rationale Generation Bootstrapping：首先，使用少量帶有推理過程的示例作為提示，引導預訓練的大型語言模型（LLM）生成多個問題的推理過程。這個過程被稱為“rationale generation”。
• Filtering and Finetuning：接著，只保留那些生成了正確答案的推理過程，并在這些數據上對模型進行微調（finetune）。這一步驟的目的是強化模型生成高質量推理過程的能力。
• Rationalization：對于模型未能正確回答的問題，STaR采用一種稱為“rationalization”的技術。在這個階段，模型被提供正確答案作為提示，然后生成一個合理的推理過程來解釋這個答案。這樣做可以讓模型從錯誤中學習，并改進其推理策略。
• Iterative Improvement：重復上述過程，每次都使用上一輪微調后的模型來生成新的訓練數據。通過這種方式，模型逐漸學習如何更好地生成推理過程，并解決越來越復雜的問題。
• 5.Performance Evaluation：在每次迭代后，評估模型在測試集上的性能，直到性能達到飽和或不再顯著提升。

3 Rationalization指的是什么？

Q1:為什么要用Rationalization？

? 直接讓LLM生成推理思考過程，這些思考過程有些是對的，有些是錯的，直接拿正確的思考過程，來訓練llm生成rational，由于沒有增量信息，會導致模型不能從failed example中學習，這樣就不能讓模型具備對new problems進行推理的能力。

Q2: 如何生成Rational

? 如下圖所示，直接讓LLM生成推理過程，對于failed的例子，加上label作為hint，基于hint，可以生成正確的推理過程。

3 Conclusion

? STaR顯著提升了在多個數據集上的性能，相對于直接預測最終答案的模型，其效果更加突出。

? 在CommonsenseQA數據集上的表現與微調一個大30倍的最先進語言模型相當。

? STaR使得模型能夠通過學習自身生成的推理步驟逐步提升推理能力。

二、詳細內容

1 實驗設計

數據集：

• 算術問題：使用隨機生成的加法問題來測試STaR在處理數字運算任務上的性能。
• 常識問答（CommonsenseQA）：使用CommonsenseQA（CQA）數據集，這是一個多項選擇的常識推理任務，測試STaR在自然語言推理上的能力。
• 小學數學（Grade School Math, GSM8K）：使用GSM8K數據集，包含小學水平的數學問題，這些問題以自然語言的形式表述，需要進行多步計算來得出答案。

Baseline：模型采用的是6B的開源模型（GPT-J），其checkpoint和fine-tuning code都開源了。

2 Rationalization能快速提升accuracy(從失敗中學習能快速成長!!!)

說明；rationalization指的就是對于failed的example，加上hint，生成正確的推理過程數據并用于訓練。

結論：隨著STaR算法迭代次數的增加，模型在算術任務上的準確率逐漸提高。特別是在使用rationalization的情況下，準確率提升更加塊。

3 STaR + rationalization比直接FT和few-shot效果好很多

? CQA數據集

? GSM8K數據集

說明：

? Direct Finetuned：不輸出中間推理過程

? STaR without rationalization：不從失敗樣例中學習（以label作為hint生成推理過程用于ft）

? STaR with rationalization：從失敗中學習

結論1：生成中間推理過程能顯著提升最終的精度，例如就算使用100%的數據，不加推理過程，精度只能到60%，加上后用更少的數據卻能更高的精度（大于68%）。

結論2：rationalization從失敗中學習能進一步提升精度。

三、總結

STaR方法的關鍵在于，它允許模型通過自我生成的推理過程來自我改進，而不需要人工標注大量的推理數據集。此外，**通過rationalization技術，STaR能夠確保模型從其錯誤中學習，從而提高整體的推理能力。**論文的實驗結果表明，STaR在多個數據集上的性能顯著優于直接預測答案的模型，并且與使用30倍更大模型的微調性能相當。

本文轉載自??NLP PaperWeekly??，作者： NLP PaperWeekly ????