9月16日消息，夸克將其訓練健康大模型的醫師考試測試集悉數公開，這是國內首個覆蓋全階段醫師考試的大模型測試集。

據了解，前不久夸克健康大模型成功通過中國 12 門核心學科的主任醫師筆試評測，并發布技術報告《QuarkMed Technical Report》，公開了“主任醫師級”能力技術實現細節。通過公開模型研發技術與醫師考試測試集，夸克旨在推動AI與醫療相融合的進一步發展。

此前國內一直缺少一款時效性高、覆蓋面全的醫師考試測試集。夸克本次公開的醫師考試測試集覆蓋執業醫師、主治醫師、副主任醫師、主任醫師全階段考試，精選普通內科學、普通外科學、婦產科學、兒科學等12門核心學科，共計約7600道題，真題部分均取自2024年最新考試。

該測試集將不同測試等級有效梯度化。初級考試以單選題、記憶類題目為主，隨著考試級別升高，多選題、案例分析題比例隨之升高，對模型的推理能力也要求越高。梯度化的測試集能為模型測試提供更明確的標準，并能有效發現模型短板、推動模型優化升級。

壹生檢康 CEO 王強宇表示，該測試集讓創業團隊少走很多彎路，豆蔻婦科大模型訓練過程中遇到的關鍵難題是如何評判模型性能，“MedBench這些通用醫療基準在婦科場景下適配性很差，無法準確衡量模型真實水平。有了夸克這套專業測試集，我們不用在基礎素材上耗費精力，能把更多資源投入到模型算法優化、婦科場景深度適配這些核心工作上。”