团队信息：这一工作由上海交大先进计算机体系结构实验室蒋力教授和刘方鑫助理教授所在课题组（IMPACT）完成，同时也获得了上海期智研究院的支持。第一作者是博士生汪宗武。
会议介绍
MICRO 全称 IEEE/ACM International Symposium on Microarchitecture，与 ISCA、HPCA、ASPLOS 并称为体系结构「四大顶会」，囊括了当年最先进的体系结构成果，被视作国际前沿体系结构研究的风向标，见证了诸多突破性成果的首次亮相，包括谷歌、英特尔、英伟达等企业在半导体领域的多项技术创新。本次会议共收到投稿 497 篇，收录文章 113 篇，录取率为 22%。
近年来，类脑计算在人工智能领域迅速崛起，尤其是脉冲神经网络（SNN）的出现，为低能耗、高效能计算提供了新的可能。然而，现有的脉冲神经网络在追求高准确性的同时，往往会增加能量消耗和计算延迟，这使得其在边缘设备上的应用面临诸多挑战。为解决这一问题，最新研究提出了一种基于 SRAM 的存内计算（CIM）架构 ——COMPASS，为 SNN 在硬件加速器上的高效部署提供了全新方案。
类脑计算的挑战与突破
传统的深度神经网络（DNN）已经在计算机视觉、自然语言处理和语音识别等领域取得了卓越的成果，但其对计算资源的巨大需求使其在能量效率方面的表现不尽如人意。相比之下，SNN 利用二进制脉冲事件代替连续激活值，以事件驱动的信息处理方式显著降低了计算需求。然而，SNN 的优势在高时效性任务中变得性能低下，这也给 SNN 的硬件实现提出了新的挑战：如何在保持高能效的同时，减少计算延迟和内存占用？
为应对这些挑战，论文提出的 COMPASS 架构创新性地利用了输入脉冲的显式稀疏性和输出脉冲的隐式稀疏性。通过引入动态脉冲模式的推测机制，该架构不仅显著减少了冗余计算，还优化了硬件资源的利用效率。此外，COMPASS 还设计了一种适用于输入和输出脉冲的时间维度压缩技术，进一步降低了内存占用，实现了高效的并行执行。
创新架构的技术细节
COMPASS 架构的核心在于其基于 SRAM 的存内架构的高稀疏性利用。传统的 CIM 架构面临的一个主要挑战是脉冲的不规则性和时间依赖性，这使得高并行架构中高效利用脉冲稀疏性变得困难。为了克服这些挑战，研究团队提出了 COMPASS 架构。这一架构基于 SRAM 的 CIM 技术，旨在通过高效利用输入脉冲（显式）和输出脉冲（隐式）中的不规则稀疏性，来显著提高 SNNs 的计算效率。
COMPASS 利用 SNN 的脉冲稀疏性设计了动态脉冲投机模式，实现了对推理延迟的对数时间步压缩，从而减少了冗余计算，并降低了硬件开销。为了充分发挥 CIM 架构的并行计算能力，COMPASS 架构还通过引入自适应投机窗口调度和时间脉冲稀疏表示，优化了输入和输出脉冲的处理流程，进一步降低了内存占用，实现了并行执行。
性能评估与结果
表一：COMPASS 的计算和存储资源与基线硬件对比
COMPASS 架构的性能评估结果令人瞩目。与现有的 SNN 加速器硬件实现相比，COMPASS 在端到端加速方面实现了 24.4 倍的提升，同时每次推理的能耗降低了 386.7 倍。这一结果不仅证明了 COMPASS 架构在处理 SNN 任务中的优越性，也展示了其在实际应用中的巨大潜力。
研究团队通过一系列实验对 COMPASS 的性能进行了详尽的分析。在与传统 DNN 和其他 SNN 模型的对比中，COMPASS 表现出了显著的性能优势，尤其是在处理复杂任务时，COMPASS 的低能耗特性尤为突出。这一成果表明，COMPASS 架构在实现高效、低能耗计算方面具有广阔的应用前景。
图 1：(a) 吞吐量和 (b) 能源效率的性能比较。由于稀疏性利用率低，PTB-CIM 表现出与 Strawman 方案（没有利用稀疏性）相当的性能，而 COMPASS 在所有基准测试中都提高了吞吐量和能源效率。
前景展望
随着人工智能应用场景的不断扩展，尤其是在边缘计算设备中的应用，能效比成为衡量算法和硬件设计的重要指标。COMPASS 架构的提出为这一问题提供了全新的解决方案。未来，该架构有望在更多的实际场景中得到应用，包括物联网设备、自动驾驶、智能机器人等领域。
展望未来，研究团队计划进一步优化 COMPASS 架构，使其在更多的 SNN 模型上实现高效部署。同时，随着 SRAM 技术的不断发展，COMPASS 有望进一步降低能耗，并在更大规模的应用中发挥其独特优势。这一创新成果不仅为类脑计算的研究提供了新的思路，也为未来低能耗人工智能的发展奠定了坚实基础。
结语
COMPASS 架构的成功研发标志着类脑计算迈出了关键性的一步。通过高效利用脉冲稀疏性和时间压缩技术，COMPASS 不仅克服了传统 SNN 硬件实现的瓶颈，还为未来智能设备的低能耗计算提供了强有力的支持。在人工智能领域快速发展的今天，这一突破性的创新无疑将对未来计算架构的发展产生深远影响。
论文信息：Zongwu Wang, Fangxin Liu*, Ning Yang, Shiyuan Huang, Haomin Li and Li Jiang*. COMPASS: SRAM-Based Computing-in-Memory SNN Accelerator with Adaptive Spike Speculation. Proceedings of the 57th IEEE/ACM International Symposium on Microarchitecture (MICRO’24). November 2024.
