隨著最近一年開源基礎LLM的發展和精調技術的日趨成熟，社區已經涌現了大量基于LLM的開源微調和精調模型。其中，以ChatGPT為代表的大語言模型（Large Language Model, LLM）憑借其近乎通用人工智能（AGI）的能力，為自然語言處理領域帶來了新的研究和應用浪潮。

目前，基于社區微調的大模型進一步精調和對齊，再用于應用開發已經成為構建生成式和交互式AI應用的高效手段。但面對眾多的模型，如何挑選適合自己進一步進行精調和對齊的模型成為了一個問題。

雖然學術界已經提供了大量的大模型評估基準和評估數據，但這些基于學術研究的評估基準并不總是能夠完全滿足實際開發的需求。

在本系列的SOTA！模型社區專欄中，我們將深入探索目前流行的中文大模型評估基準，包括它們的指標設計、評估集構成和適用場景，希望能夠幫助大家更好地使用這些學術指標來指導開源基座的選擇。

這篇專欄將為大家探索以下問題

1、C-Eval主要評估什么能力? 覆蓋哪些知識科目？不同科目的難度一樣嗎？不同科目的難度如何？

2、C-Eval的測例庫是如何形成的？使用C-Eval的測例庫進行評測時，提示詞要如何寫？提示詞的編撰方式是否會有影響？

3、C-Eval榜單排名靠前的開源模型基于C-Eval覆蓋科目、同樣的題目提示格式進行場外問題實測，他們回答結果如何呢？

C-Eval 主要評估什么能力？

圖1. C-Eval 概覽圖。不同顏色的科目表示四個難度等級：初中、高中、大學和專業

自GLUE發布以來，大語言模型評測基準已分化為三類。

1、針對自然語言理解能力的評測，如GLUE和SuperCLUE，主要考察模型對語言文字的基礎理解；

2、針對知識理解和記憶能力的評測，如C-Eval，旨在考察模型在高級知識任務上的推理能力；

3、針對綜合性能力評測，如HELM，重點在于評估模型在各種場景下的表現，包括其反應速度、言語控制和辨別虛假信息的能力。

C-Eval 全稱 A Multi-Level Multi-Discipline Chinese Evaluation Suite for Foundation Model，是首個評估中文基礎模型高級知識和推理能力的廣泛基準。

構造評測基準的第一個問題是確定“區分度”，即，什么是區分模型強弱的核心指標。C-Eval考慮知識和推理這兩項核心。

C-Eval的構建從知識型的任務出發，構造數據集測試模型的知識能力，對標MMLU(這個數據集被用于 GPT-3.5, GPT-4, PaLM, PaLM-2, Gopher, Chinchilla 的研發)。

為了進一步衡量模型的高階能力，滿足對推理任務的評估需求，研究團隊把 C-Eval 中需要強推理的學科（微積分，線性代數，概率 …）專門抽出來，命名為 C-Eval Hard 子集，對標MATH (這個數據集被用于 GPT-4, PaLM-2, Minerva, Galactica 的研發)。

論文地址：https://arxiv.org/pdf/2305.08322v1.pdf

github地址：https://github.com/SJTU-LIT/ceval

C-Eval榜單地址：https://cevalbenchmark.com/static/leaderboard.html

數據集地址：https://huggingface.co/datasets/ceval/ceval-exam

C-Eval的科目覆蓋及難度設計

C-Eval包括四個難度級別的多項選擇題：初中、高中、大學和專業。C-Eval還附帶有C-Eval HARD，這是C-Eval中非常具有挑戰性的一部分主題（子集），是從C-Eval中選擇的8個具有挑戰性的數學、物理和化學科目，需要高級推理能力才能解決，具體包括高等數學、離散數學、概率和統計、大學化學、大學物理、高中數學、高中化學和高中物理。這些科目通常涉及復雜的LATEX方程，需要推理能力來解決。

C-Eval 的問題涉及涵蓋52個不同的學科領域，由13948個多項選擇題組成，從人文學科到科學和工程學科不等。除了英語科目外，包含了初中、高中的標準科目。對于大學，從中國教育部列出的所有13個官方本科專業類別中選擇了25個有代表性的科目、每個類別中至少有一個科目被納入C-Eval，以確保全面性。在專業層面上，參考了中國官方的國家職業資格目錄5并選擇了12個有代表性的科目，如醫生、法律專業和公務員資格考試。還將這些科目按其主題分為四類：STEM（科學、技術、工程和數學）、社會科學、人文學科和其他領域。

C-Eval學科領域的詳細統計數據如下：

C-Eval的測例庫是如何形成的？

C-Eval 主要測例來源是互聯網上免費提供的模擬考試。一部分大學階段 的試題是來自中國頂尖大學的過去的考試題，由學生公開分享。一小部分大學試題是全國 研究生入學考試的模擬試題，來源是維普網站。

C-Eval 研究組獲取到原始測例數據有多種格式，主要是PDF或Microsoft Word文檔，還有一小部分網頁。PDF文件最初是用OCR工具處理成文本。所有的問題隨后被解析--在可能的情況下自動解析，否則由團隊手動解析--變成結構化格式，即 "問題列表"。對于具有復雜數學符號的科目，如STEM類別中的許多科目，手動將其轉換為標準的LATEX格式。

C-Eval中的所有問題都經過處理，正好包括四個選擇。大部分的原始問題伴隨著四個選擇，還消除了少于四個選項的問題。并對有四個以上選項的問題隨機放棄不正確的選擇。所有的問題也都經過了標準的數據預處理管道，如重復數據刪除和清理。

在此之后，這些問題經過了作者的幾輪人工驗證，所有的LATEX符號都被確保符合要求，沒有語法錯誤。項目組為每個科目處理了至少200個問題，并在每個科目中隨機地將問題分成一個開發集、一個驗證集和一個測試集。每個科目的開發組由五個示例組成，以方便進行少量的評估。這些示范題還附有解釋，以便于進行少量的評估。驗證集和測試集的比例為1:9。

思維鏈（COT）推理可以促使語言學習者生成推理過程的文本序列以及最終答案，在推理繁重的任務中取得了巨大成功。與zero-shot 相比（單輪），few-shot更常用（多輪），并能在各種任務中實現最先進的性能。為了改進 C-Eval 在few-shot中的應用效果，將自動生成和人工注釋結合起來，為開發拆分提供高質量的解釋數據。

使用 C-Eval 做評測，Prompt 不同會有什么影響？

C-Eval官方文檔推薦了四種prompting范式。首先是few-shot answer-only，這是最基礎的方式。其次是few-shot chain-of-thought，這種方式在模型超過65B之后才會顯著有效。接著是zero-shot answer-only，通常在進行instruction tuning之后采用。最后是zero-shot chain-of-thought，只有在instruction tuning之后且模型足夠強大時，才推薦使用這種模式。

C-Eval的官方文檔對于如何編寫測試提示也給出了非常詳細的示例。如果模型還沒有被調成一個 chatbot，那么提示格式如下。其中，對話格式的 prompt 相當于已讓 AI 假裝已經正確回答了五個問題（但實際上是被我們 hard code 到 prompt 里的），然后 AI 實際上只回答最后一輪的問題。相應的，對話格式的 zero-shot 和 chain-of-thought 版本的 prompt 需要分別去掉 in-context 樣本和加上{讓我們一步一步思考 [explanation]} 的內容。

具體來說，如果是 zero-shot （單輪）的話，則去掉 [題目 1] 到 [題目 5] 的 in-context 樣本；如果模型的 context length 裝不下所有的 in-context examples，則去掉一兩個；如果是 chain-of-thought 的話，則需要加上 {讓我們一步一步思考 [explanation]} 的內容。

以下是中國關于{subject}考試的單項選擇題，請選出其中的正確答案。<- 注意把 {subject} 改成具體的科目名稱


[題目 1]
A. [選項 A 具體內容]
B. [選項 B 具體內容]
C. [選項 C 具體內容]
D. [選項 D 具體內容]
答案：A              


...                 <- 題目 2 到 4


[題目 5]
A. [選項 A 具體內容]
B. [選項 B 具體內容]
C. [選項 C 具體內容]
D. [選項 D 具體內容]
答案：C


[測試題目]
A. [選項 A 具體內容]
B. [選項 B 具體內容]
C. [選項 C 具體內容]
D. [選項 D 具體內容]
答案：<模型從此處生成>

此外，C-Eval團隊對于提示方式的影響也分享了自己的發現。

對于沒有經過instruction tuning的預訓練模型，prompt的選擇會導致效果的顯著差異。雖然有default prompt，但它不一定是最佳選擇。在實際操作中，我們需要明確分數的提高是由于模型的進步還是prompt的改進。如果主要目標是模型的開發，那么建議不要過多地優化prompt。

而對于經過指令精調的預訓練模型，prompt的差異對模型效果的影響會減少，但仍然不能被忽視。盡管instruction tuning后，模型對prompt engineering的需求會降低，但這種需求仍然存在。

LLM選手們是如何回答 C-Eval的題目的？

C-Eval中的結構化的大學經濟學實例題目示例如下，為提高可讀性，英文譯文顯示在相應的中文文本下方。我們可以看出，單純從題目只能看出來“洛倫茲曲線”這樣的關鍵信息，但結合給出的答案能夠判斷出考察的是“洛倫茲曲線”與“基尼系數”、收入平等性之間的關系，這需要有一定的經濟學背景，才能理解并識別出問題并給出正確答案。在掌握相關背景知識的前提下，本道題的回答難度并不大，不需要復雜的推理能力。

下面我們給出一個C-Eval中few-shot設置中的潛在使用。首先提示 GPT-4 生成解釋ground-truth答案的步驟解釋，然后手動修改生成的解釋，以獲得最終解釋。下面是一個高中化學題目的示例及解釋。為提高可讀性，在相應的中文文本下方顯示英文翻譯。

最后是一個C-Eval HARD的高等數學的示例。我們可以看出，答對這道題要具備很強的數學計算和推理能力，而非普通的數學題。不過，C-Eval中全部為客觀題，所以我們并不能看到所有推理題目的解題過程。

C-Eval 頭部選手場外實測

我們選擇了截止2023年9月底 C-Eval 的最新榜單中部分排名前20位的選手中選擇了4個模型進行實測，來看看這些在C-Eval中榜單排名靠前的模型在考場之外的場景中表現又如何呢？

我們收集和整理了一些初高中的學科類題目，這些題目都是我們在日常生活中收集的，而不出自于任何公開的成熟評測基準，所以更加能反應模型在真實場景中的工作能力。

我們整理了五道高中化學、初中數學、公務員考試和大學經濟學的題目，同時按照C-Eval的題目格式將其都組織成客觀題的形式，同時用4個選出的模型進行實測。

我們通過查閱資料，能夠確定上述四道題目的正確答案為D、C、A、D，那么在C-Eval榜單排名靠前的模型答題表現如何呢？

令人遺憾的是，在總共 4 x 4 =16道 實測題目中，只有ChatGLM2-6B答對了一道初中數學題，其它15道題全部答錯。其中有部分答題格式正確，即，給出了A/B/C/D的選項，而更多的題目連答題格式都不正確。這一結果顯然跟他們在榜單中耀眼的成績并不相符，也從一定程度上佐證了上面知友的意見。

C-Eval核心團隊成員曾提出的“最重要目標是輔助模型開發，而不是打榜”，如何有效利用C-Eval改進自己的模型，而不是不斷地傾斜數據刷到更高的榜單排名，值得更多小伙伴深思。

以下是實測輸出，供老伙計們參考。

第一題 高中化學

ChatGLM2-6B

InternLM-7B

MOSS Moon 003 SFT INT4

Baichuan7B

第二題 初中數學

ChatGLM2-6B

InternLM-7B

MOSS Moon 003 SFT INT4

Baichuan7B

第三題 公務員考試

ChatGLM2-6B

InternLM-7B

MOSS Moon 003 SFT INT4

Baichuan7B

第四題 大學經濟學

ChatGLM2-6B

InternLM-7B

MOSS Moon 003 SFT INT4

Baichuan7B