清華給電子顯微鏡加上Agent，DeepSeek V3全程調度，數天流程縮短至幾分鐘
AI Agent又解鎖了一個領域！
清華大學牽頭，與西北工業大學以及上海AI lab等機構推出了電鏡領域的AI agent——AutoMat。
它相當于一位精準的“地圖翻譯官”，把原子級 STEM 圖像自動轉成標準 CIF 結構，并一步到位給出形成能等關鍵物性。
過去的人工流程被縮短到幾分鐘，真正打通了“顯微成像 → 結構重建 → 性質預測”的斷層。
此外，團隊還專門構建了二維材料數據集 STEM2Mat?Bench（450?余個樣本）進行驗證—選擇二維材料是因為其單層結構減少多重散射與投影歧義，更便于精確成像與評測。
結果顯示，AutoMat在重建精度與能量預測上全面超越現有多模態大模型與AtomAI等專用工具，首次讓“看到原子”真正等同于“理解材料”，為材料發現和實驗流程的自動化閉環開啟了高速通道。
電鏡領域的AI Agent
電子顯微技術的快速發展已達到亞原子級的成像效果，但解析表征圖像的原子結構仍然需要專家逐像素判讀、手動建模，對應模板結構，這樣才能得到可供計算的晶體結構文件，這一過程往往耗時數小時甚至數天，還容易因噪聲或元素重疊出錯，就像拿著古地圖卻無法快速生成GPS導航一樣令人沮喪。
為了解決這個問題，團隊首先從數據開始著手。
現有STEM公開數據集較少、且“圖像+結構+性質”成套數據稀缺，為此團隊從 C2DB / Materials?Project / OpenCrystal 挑選高質量二維晶體，最終鎖定450?個樣本、67?種元素。
然后依據元素多樣性與電子束劑量 將任務分為三檔難度梯度：
- Tier?1：單元素 + 高劑量 → “入門關”
- Tier?2：二元或中劑量 → “進階關”
- Tier?3：三元素 + 低劑量 → “地獄關”
三元組齊備，閉環驗證。每條樣本自帶帶噪 STEM 圖像、對應 CIF 結構、DFT級形成能等物性，讓模型在“圖像→結構→性質”全鏈路上一站式考核。
借助 STEM2Mat-Bench，AutoMat首次展示了在全難度段穩定重建與精準預測的能力，也為后續算法提供了統一、公正的比拼賽道。
作為橋接顯微鏡與計算模擬的智能?Agent，AutoMat主要分為四步形成閉環。
第一步，圖像降噪 | MOEDIVAESR，模式自適應混合專家網絡，按噪聲/結構動態選擇父類和子類專家，去噪+銳化一次到位。
第二步，結構先驗 | 模板檢索，像素和樣式特征 × 元素對比，秒級鎖定候選晶體模板。
第三步，原子重建 | STEM2CIF，無監督聚類定位原子峰 → 晶格擬合 → 元素分配，直接輸出標準 CIF 文件，可即刻用于計算。
第四步，性質預測 | MatterSim，機器學習勢能快速松弛優化結構，輸出形成能等關鍵物性。
其中DeepSeek-V3 LLM?Agent 全程調度、實時質檢。
從原始 STEM 圖像出發，四步直達優化后的原子結構與物性數據，同時保留每階段中間結果，便于衍生下游任務。AutoMat 將“像素級觀察”即時轉化為“材料級洞察”，大幅縮短實驗發現到理論驗證的周期。
性能評估
為評估?AutoMat，團隊設置三條基準線：一是多模態視覺?語言模型（GPT?4.1?mini、Qwen?2.5?VL?32B、LLama?4V?17B、ChemVLM?8B），輸入固定提示與?STEM?圖像直接推斷材料性質，用于衡量“圖像→性質”推理水平；二是 AtomAI，僅通過分割網絡定位原子中心并結合分辨率擬合晶格，專門考察結構重建精度；三是“真值?CIF?+?MatterSim?MLIP”，即將真實?CIF?喂入機器學習勢能模型，給出形成能誤差的理論最優上限。
AutoMat在形成能預測上的平均絕對誤差（MAE）為332 ± 12 meV/atom（分層級為 344、320 和 333 meV），雖仍高于理論最佳值（48 meV），但遠低于視覺-語言模型普遍數 eV 級別的誤差，且后者誤差隨任務難度顯著增加，驗證了基準設計的合理性。進一步提升結構重建精度后，AutoMat 有望逼近理論誤差范圍，充分滿足下游性質預測需求。
整體看，AutoMat的剩余誤差主要源于結構重建而非勢能模型，所重建結構足以支撐可靠的下游性質預測。
對于結構重建，AutoMat實現了大約0.11 A的平均投影RMSDxy，比AtomAI（43-44 A）低兩個數量級，大多數偏差可通過最終松弛校正。在成分正確性方面，AutoMat在各層級上平均達到83%（具體為88.9%、85.9%、73.1%），而AtomAI僅在簡單的Tier 1情況下達到不到2.7%。在結構成功率方面，考慮空間和成分一致性，AutoMat總體達到83.2%（各層級為85.0%、84.0%、73.1%），而AtomAI幾乎不能產生有效結構。
總結來說，AutoMat不僅優于所有現有基線，而且在具有挑戰性的Tier 3場景中保持高性能，這些場景涉及多元素組成和低成像劑量，展示了其在整個基準范圍內的穩健性和泛化能力。
不過實驗過程中也有兩大瓶頸尚待解決。
比如，模板檢索失靈（39.3?%）。檢索未命中正確晶體，導致原子排布與元素完全錯位，形成能誤差最高飆至?3130meV?/?atom（典型案例：U-F-O結構被錯配為 P-系模板）。
還有下游重建崩潰（60.7?%），模板雖正確，但 2D 投影重疊或 C/O 等近似元素對比度過低，觸發原子混淆、結構松弛失真，CIF 直接輸出失敗。
接下來，團隊將朝著兩個方面進行優化：
- 不確定性檢索 + 多候選融合：先擴寬匹配范圍，再用置信度篩選，提高模板命中率。
- 3D-aware&多模態融合：補足z軸深度信息，強化復雜體系的結構保真度與性質預測準確性。
實驗?模擬?AI 三位一體，AutoMat 將把“觀測、建模、驗證”閉環成可迭代流程。下一階段，他們將擴展至 3D 體相、缺陷/界面體系及更多模態，進一步提升復雜材料的結構保真度與性質預測能力。
代碼：https://github.com/yyt-2378/AutoMat
