上交大新型SRAM存內計算架構「COMPASS」，開啟類腦計算新時代
團隊信息：這一工作由上海交大先進計算機體系結構實驗室蔣力教授和劉方鑫助理教授所在課題組（IMPACT）完成，同時也獲得了上海期智研究院的支持。第一作者是博士生汪宗武。
會議介紹
MICRO 全稱 IEEE/ACM International Symposium on Microarchitecture，與 ISCA、HPCA、ASPLOS 并稱為體系結構「四大頂會」，囊括了當年最先進的體系結構成果，被視作國際前沿體系結構研究的風向標，見證了諸多突破性成果的首次亮相，包括谷歌、英特爾、英偉達等企業在半導體領域的多項技術創新。本次會議共收到投稿 497 篇，收錄文章 113 篇，錄取率為 22%。
近年來，類腦計算在人工智能領域迅速崛起，尤其是脈沖神經網絡（SNN）的出現，為低能耗、高效能計算提供了新的可能。然而，現有的脈沖神經網絡在追求高準確性的同時，往往會增加能量消耗和計算延遲，這使得其在邊緣設備上的應用面臨諸多挑戰。為解決這一問題，最新研究提出了一種基于 SRAM 的存內計算（CIM）架構 ——COMPASS，為 SNN 在硬件加速器上的高效部署提供了全新方案。
類腦計算的挑戰與突破
傳統的深度神經網絡（DNN）已經在計算機視覺、自然語言處理和語音識別等領域取得了卓越的成果，但其對計算資源的巨大需求使其在能量效率方面的表現不盡如人意。相比之下，SNN 利用二進制脈沖事件代替連續激活值，以事件驅動的信息處理方式顯著降低了計算需求。然而，SNN 的優勢在高時效性任務中變得性能低下，這也給 SNN 的硬件實現提出了新的挑戰：如何在保持高能效的同時，減少計算延遲和內存占用？
為應對這些挑戰，論文提出的 COMPASS 架構創新性地利用了輸入脈沖的顯式稀疏性和輸出脈沖的隱式稀疏性。通過引入動態脈沖模式的推測機制，該架構不僅顯著減少了冗余計算，還優化了硬件資源的利用效率。此外，COMPASS 還設計了一種適用于輸入和輸出脈沖的時間維度壓縮技術，進一步降低了內存占用，實現了高效的并行執行。
創新架構的技術細節
COMPASS 架構的核心在于其基于 SRAM 的存內架構的高稀疏性利用。傳統的 CIM 架構面臨的一個主要挑戰是脈沖的不規則性和時間依賴性，這使得高并行架構中高效利用脈沖稀疏性變得困難。為了克服這些挑戰，研究團隊提出了 COMPASS 架構。這一架構基于 SRAM 的 CIM 技術，旨在通過高效利用輸入脈沖（顯式）和輸出脈沖（隱式）中的不規則稀疏性，來顯著提高 SNNs 的計算效率。
COMPASS 利用 SNN 的脈沖稀疏性設計了動態脈沖投機模式，實現了對推理延遲的對數時間步壓縮，從而減少了冗余計算，并降低了硬件開銷。為了充分發揮 CIM 架構的并行計算能力，COMPASS 架構還通過引入自適應投機窗口調度和時間脈沖稀疏表示，優化了輸入和輸出脈沖的處理流程，進一步降低了內存占用，實現了并行執行。
性能評估與結果
表一：COMPASS 的計算和存儲資源與基線硬件對比
COMPASS 架構的性能評估結果令人矚目。與現有的 SNN 加速器硬件實現相比，COMPASS 在端到端加速方面實現了 24.4 倍的提升，同時每次推理的能耗降低了 386.7 倍。這一結果不僅證明了 COMPASS 架構在處理 SNN 任務中的優越性，也展示了其在實際應用中的巨大潛力。
研究團隊通過一系列實驗對 COMPASS 的性能進行了詳盡的分析。在與傳統 DNN 和其他 SNN 模型的對比中，COMPASS 表現出了顯著的性能優勢，尤其是在處理復雜任務時，COMPASS 的低能耗特性尤為突出。這一成果表明，COMPASS 架構在實現高效、低能耗計算方面具有廣闊的應用前景。
圖 1：(a) 吞吐量和 (b) 能源效率的性能比較。由于稀疏性利用率低，PTB-CIM 表現出與 Strawman 方案（沒有利用稀疏性）相當的性能，而 COMPASS 在所有基準測試中都提高了吞吐量和能源效率。
前景展望
隨著人工智能應用場景的不斷擴展，尤其是在邊緣計算設備中的應用，能效比成為衡量算法和硬件設計的重要指標。COMPASS 架構的提出為這一問題提供了全新的解決方案。未來，該架構有望在更多的實際場景中得到應用，包括物聯網設備、自動駕駛、智能機器人等領域。
展望未來，研究團隊計劃進一步優化 COMPASS 架構，使其在更多的 SNN 模型上實現高效部署。同時，隨著 SRAM 技術的不斷發展，COMPASS 有望進一步降低能耗，并在更大規模的應用中發揮其獨特優勢。這一創新成果不僅為類腦計算的研究提供了新的思路，也為未來低能耗人工智能的發展奠定了堅實基礎。
結語
COMPASS 架構的成功研發標志著類腦計算邁出了關鍵性的一步。通過高效利用脈沖稀疏性和時間壓縮技術，COMPASS 不僅克服了傳統 SNN 硬件實現的瓶頸，還為未來智能設備的低能耗計算提供了強有力的支持。在人工智能領域快速發展的今天，這一突破性的創新無疑將對未來計算架構的發展產生深遠影響。
論文信息：Zongwu Wang, Fangxin Liu*, Ning Yang, Shiyuan Huang, Haomin Li and Li Jiang*. COMPASS: SRAM-Based Computing-in-Memory SNN Accelerator with Adaptive Spike Speculation. Proceedings of the 57th IEEE/ACM International Symposium on Microarchitecture (MICRO'24). November 2024.（標 * 為通信作者）
