TranSIC：一种计算存储框架，用于在能源受限的环境中设计高效的Transformer加速器

《IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems》：TranSIC: A Storage in Computing Framework for Designing Efficient Transformer Accelerators in Energy-Constrained Scenarios

针对能量受限环境中Transformer模型的高能耗问题，提出TranSIC方法将权重矩阵直接集成到计算电路中，消除推理时的外部内存访问，显著减少数据移动。实验表明其能效较PIM提升8.65倍，较传统方法提升56.24倍。

　　

摘要：

智能应用，如可穿戴健康监测设备、物联网设备、纳米无人机和具身智能系统，越来越多地被部署在能源受限的环境中。尽管Transformer模型提供了先进的处理能力，但其集成受到能源和计算资源的限制。大量研究表明，数据传输（尤其是大型Transformer权重的传输）是能源消耗的主要来源，占总能源使用的37%。最近的技术，如内存内处理（PIM）和近内存处理（PNM），难以从根本上减少数据传输次数，从而限制了它们在降低能源消耗方面的效果。本文研究了计算中的存储（SIC）技术，即将权重矩阵直接集成到计算电路中，从而在推理过程中消除对外部内存的访问，并显著减少操作数数据的传输。为了实现SIC，我们提出了TranSIC，这是一种创新的方法，用于创建数据传输量最小的高效Transformer加速器。促进SIC实际应用的关键进展包括一种重用策略，以减少所需的SIC单元数量，以及一种低开销优化方法，以降低数据路由的开销。实验结果表明，与最先进的PIM和传统方法相比，TranSIC分别实现了高达8.65×和56.24×的能源效率。

引言

人工智能的快速发展促进了多种智能应用的发展，这些应用涵盖了广泛的应用领域，为日常活动和专业任务提供了重要支持。智能应用的实现涉及各种基础设施，包括大型数据中心、强大的计算节点和隐蔽的边缘设备。特别是边缘设备，由于其广泛的应用场景和需求量的增加，对智能任务的需求也在显著增长。这些应用包括可穿戴健康监测设备[1]、物联网（IoT）设备[3]、纳米无人机[4]和具身智能系统[5]。这一趋势甚至扩展到更关键的场景，例如配备不可更换电池的植入式传感器[6]。然而，在这些环境中运行的应用面临着计算资源受限和电力供应不足的挑战。此外，这些平台优先考虑高能源效率，需要在电池寿命和计算能力之间取得微妙的平衡。