ResearchAgent: 利用agent自動生成論文idea，再也不用擔心做科研沒有思路了
大家好，我是HxShine
今天分享微軟的一篇文章：ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models。傳統的科學研究過程包括新研究想法的提出和通過精心設計的實驗來驗證這些想法，這一過程緩慢且依賴專業專家，這限制了科研的生產力。這篇論文試圖利用agent思想來自動生成新的論文idea，解決科學研究生產力低下的問題，論文提出了一個名為ResearchAgent的工具，這是一個由大型語言模型驅動的研究思路撰寫助手，能夠自動化地生成問題、方法和實驗設計，并能利用ReviewAgent對它們進行迭代式的優化。
Title: ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models
URL: https://arxiv.org/abs/2404.07738
Authors: Jinheon Baek, Sujay Kumar Jauhar, Silviu Cucerzan, Sung Ju Hwang
Institutions: KAIST, Microsoft Research, DeepAuto.ai
1 Motivation
? 科研工作在推動創新和解決問題上發揮著關鍵作用，但目前的科研過程復雜、緩慢，且需要專業的專家參與，這些都限制了科研的生產力。
? 為提高效率，本研究提出了利用大型語言模型的研究生成助手：ResearchAgent，它可以在閱讀科學文獻的基礎上，自動生成研究領域內的問題、方法及實驗設計，并能迭代地進行改善。
2 Methods
科研最重要的三個步驟是identifying problems（挖掘問題）, developing methods（方法開發）, and designing experiments（實驗設計）。本文提出的“ResearchAgent”系統是一個基于大型語言模型（LLMs）的自動化科研想法生成框架，它通過三個主要步驟來模擬人類的科研過程：問題識別、方法開發和實驗設計。系統利用科學文獻中的引用關系和實體信息來增強LLMs的知識背景，并通過迭代評審和反饋機制，由多個與人類偏好對齊的LLM代理（ReviewingAgents）來提升想法的質量。實驗設置包括從學術圖譜API獲取數據、構建實體中心的知識庫，并使用GPT-4模型進行實驗。通過人類和模型評估相結合的方法，驗證了ResearchAgent在生成具有創新性、清晰度和相關性的科研想法方面的有效性。
本文提出的“ResearchAgent”系統是一個基于大型語言模型（LLMs）的科研想法生成代理，旨在通過自動化的方式提出新的科研想法。這個方法的核心在于模仿人類研究者在科研過程中的思考和迭代改進方式。以下是“ResearchAgent”方法的主要組成部分：
步驟一：LLM-Powered Research Idea Generation（利用core paper信息生成待研究的問題、以及方法和實驗設計）
?問題識別（Problem Identification）：利用LLM指出當前知識中的空白或矛盾，從而確定科研需要解決的問題。
?方法開發（Method Development）：利用LLM設計用于解決問題的方法論和工具。
?實驗設計（Experiment Design）：利用LLM制定實驗方案來驗證提出的假設。
說明：我們的目標是基于現有學術文章（literature），挖掘新的idea，目標O由（problem，method，experiment）組成，可以表示為o = f(L)，這里相當于分三個步驟來實現這個目標，首先基于提供的知識L生成問題，即p = f(L)，然后根據問題p以及知識L生成method方法，即m = f(p, L)，接著根據問題p，方法m和相關知識L完成實驗設計，即d = f(p, m, L)。這里每一步都是通過LLM來實現，問題識別的prompt示例如下：
步驟二：Knowledge-Augmented LLMs for Research Idea Generation（通過外部知識增強的方法，提高LLMs在科研想法生成中的效果）
- ?核心論文和相關引用（內部知識）：選擇一個核心論文作為起點，并基于引用關系選擇相關的論文集，可以輸入更相關、更連貫的一些知識。
- ?實體中心的知識增強（外部知識）：構建一個知識庫，用于存儲和檢索科學文獻中的實體，這些實體作為知識的原子單元，可以跨不同學科積累更多知識，提供更多見解（通過兩個領域的重疊實體和外部知識建立聯系），這里使用entity linker EL[1]這個工具來挖掘L中的實體。
說明：知識增強的內容會放到prompt的context中作為輸入，注意core paper選擇3個月超過100個引用次數的文章，而relevant paper利用abstracts的相似度來過濾挑選更相關的文章，確保focus在相關的領域。其輸入格式如下：
步驟三：Iterative Research Idea Refinements with Human Preference-Aligned LLM Agents（為了模擬人類研究過程中通過peer討論來迭代優化，這里使用多個LLM代理（ReviewingAgents）根據特定標準提供評審和反饋來迭代優化。）
?評審和反饋：生成的科研想法（問題、方法和實驗設計）根據特定標準進行評估。
?迭代改進：基于ReviewingAgents的評審和反饋，ResearchAgent進一步更新和改進已經生成的科研想法。
說明：Review Agent其實也是以LLM來實現，但是引入了人類的一些專家經驗，要求如下：
此外，為了使機器生成的評估與人類判斷保持一致，本文還提出了一種自動生成與人類偏好一致的評估標準的方法。這些標準是通過少量人類注釋生成的，然后用于指導ReviewingAgents的評估。
說明：問題識別，方法開發，實驗設計都有相應的評分標準，其中問題識別的評分標準如下：
3 Conclusion
ResearchAgent使用一種名為“迭代研究想法精煉”的方法，該方法結合了利用大型語言模型評估和來自人類判斷的反饋。實驗結果表明，ResearchAgent在多個領域生成研究想法方面優于現有基線，顯示了其在鼓勵創造性、清晰性和有效性方面的潛力。
4 Limitation
研究提出的 ResearchAgent 雖然在提升科研效率方面顯示了潛力，但仍存在若干限制，需要未來的工作進行改進：
? 目前使用的實體中心知識庫構建基于文獻的標題和摘要，可能無法充分捕獲更廣泛和細節的科學術語，未來工作可能需要擴展文獻的范圍，提高實體識別器的準確性。
? 研究的后續階段——實驗驗證還需大量人力，研究的自動化程度有待提升。
二、詳細內容
1 實驗設置
數據選擇：實驗使用的數據來源于Semantic Scholar Academic Graph API[1]，這是一個學術文獻數據庫，選擇的數據集包括2024年5月1日之后發表的、具有高引用次數（超過20次）的論文，這些論文被視為核心論文。
核心論文抽樣：從高引用次數的論文中隨機抽取300篇作為實驗的核心論文。這些核心論文將用于生成和評估300個研究想法。
模型和基線比較：由于研究想法生成是一個新任務，沒有現有的基線模型可以直接比較，因此，作者比較了完整的ResearchAgent模型與以下變體：
? Naive ResearchAgent：僅使用核心論文生成想法。
? ResearchAgent w/o Entity Retrieval：使用核心論文及其相關引用，但不使用實體檢索。
? ResearchAgent：完整模型，結合了相關引用和實體。
評估方法：由于沒有標準答案，評估包括基于模型的自動評估和人類評估。
人類評估：選擇至少發表過三篇論文的專家進行評估，評估包括為每個標準打分和對不同模型生成的想法進行成對比較。
實現細節：使用GPT-4作為所有模型的基礎，使用BLINK實體鏈接器[2]提取實體并構建以實體為中心的知識庫。
2 整體效果評估
模型和基線比較：由于研究想法生成是一個新任務，沒有現有的基線模型可以直接比較，因此，作者比較了完整的ResearchAgent模型與以下變體的差異：
? Naive ResearchAgent：僅使用核心論文生成想法。
? ResearchAgent w/o Entity Retrieval：使用核心論文及其相關引用，但不使用實體檢索。
? ResearchAgent：完整模型，結合了相關引用和實體。
說明：
1.評估方法：研究想法的生成通過兩種評估方式進行驗證，人類評估（左側）和基于模型（GPT4自動評估）的評估（右側）。
2.多個標準：每個研究想法根據五個不同的標準進行評分，包括原創性、清晰度、相關性、可行性和重要性等。
3.綜合評分：除了每個單獨的標準評分外，還有一個平均分數，它提供了對每個想法整體質量的綜合視圖。
結論：ResearchAgent，完整模型，結合了相關引用和實體這種方法效果最好。說明了本文提到的每個方法都能給整體agent帶來不錯的收益。
2 消融實驗
3.1 各模塊勝率對比
結論：ResearchAgent，完整模型，結合了相關引用和實體這種方法勝率最高。同樣說明了本文提到的每個方法都能給整體agent帶來不錯的收益。
3.2 引用和實體對各模塊的影響
說明：每種消融變體在生成問題（Problem）、方法（Method）和實驗設計（Experiment）方面的性能評分。
? 不使用實體檢索（w/o Entities）的情況。
? 使用隨機實體（Random Entities）替代實際實體的情況。
? 不使用參考文獻（w/o References）的情況。
? 使用隨機參考文獻（Random References）替代實際參考文獻的情況。
? 同時不使用實體和參考文獻（w/o Entities & References）的情況。
結論：參考文獻和實體的重要性。實體檢索以及參考文獻對于生成高質量的研究想法至關重要。
3 review次數越多效果越好
說明： 這里的“迭代改進步驟”指的是ResearchAgent系統使用ReviewingAgents進行的多輪評審和反饋過程，目的是提升研究想法的質量。
結論： 大部分評分點，隨著review次數越多，效果越好，不過在3輪以后有一些下降，可能是飽和了。
4 人類引導的評分標準對齊在自動評估任務中的重要性
說明：該結果說明了模型評估結果的分布，比較了三種不同評估方法的得分分布情況。
1.人類評估結果（左側）：這部分展示了人類評估者給出的評分分布。由于人類評估者對研究想法的質量有直觀的理解，他們的評分分布可以作為評估標準的參考。
2.模型評估結果（中間）：這部分展示了模型在沒有進行人類評分標準校準的情況下給出的評分分布。由于模型可能沒有完全理解人類評估的細微差別，因此其評分分布可能與人類評估結果有所不同。
3.人類對齊模型評估結果（右側）：在這部分，模型評估使用了基于人類評估結果導出的評分標準。這意味著模型評估試圖與人類的評估偏好對齊，以提高評估的相關性和準確性。
結論：從圖中可以看出，未經過人類評分標準校準的模型評估結果（中間）的分布可能與人類評估結果（左側）有顯著差異，這表明模型在沒有人類指導的情況下可能無法準確捕捉到研究想法的質量。然而，當模型評估與人類評分標準對齊后（右側），其評分分布與人類評估結果更加接近，顯示了校準過程的有效性。這表明通過將模型評估與人類評估標準對齊，可以提高模型評估的質量和可信度。
5 論文的引用次數與生成的研究想法質量之間存在正相關
說明：低、中、高引用次數的組別，以此來代表論文的影響力或“影響力”。然后，對于每個組別內的論文，使用模型評估（可能是GPT-4或其他類似的語言模型）來確定由這些論文生成的研究想法的平均質量得分。
- 1.分組依據：論文根據被引用次數被分為三個不同的組別，這可能意味著“低”引用組別的論文相對較少被引用，而“高”引用組別的論文則被廣泛引用。
- 2.得分分布：每個組別的論文生成的研究想法會根據預設的評估標準（如清晰度、相關性、原創性、可行性和重要性等）被賦予一個得分。
- 3.平均得分：圖表可能會顯示每個組別的平均得分，這表明了不同影響力水平的論文在生成研究想法時的平均質量。
結論：可以觀察到論文的引用次數與生成的研究想法質量之間是否存在相關性，高引用次數的論文可能傾向于生成質量更高的研究想法。
6 模型基座的影響
結論：GPT4.0比GPT3.5高了一大截，說明基座模型能力的重要性。同時本文的ResearchAgent也比Naive ResearchAgent高3個點左右，說明本文方法的有效性。
三、總結
結論1：模型在沒有人類指導的情況下可能無法準確捕捉到研究想法的質量。引入人類反饋還是必要的，通過機器直接來review可能提供的反饋信息還不夠。通過將模型評估與人類評估標準對齊，可以提高模型評估的質量和可信度。
結論2：內部引用知識以及外部圖譜知識能提高idea的生成質量。 研究通過知識庫和相關文獻的結合使用，提升了大型語言模型在科學研究領域內創意生成的質量。
結論3：ReviewAgent迭代優化能顯著提升研究創意。 研究設計的多個評審代理加強了生成的研究創意的迭代改進過程，使其更加新穎、有效和清晰。
結論4：原始core paper的質量也非常重要，高引的paper生成的idea質量更好。
引用鏈接
[1]? Semantic Scholar Academic Graph API: https://www.semanticscholar.org/product/api[2] BLINK實體鏈接器: https://aclanthology.org/2020.emnlp-main.519.pdf
本文轉載自??????NLP PaperWeekly??，作者： NLP PaperWeekly ????
