iMAC：通过预测并消除无效的MAC操作来加速深度神经网络的发展

《IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems》：iMAC: Toward Accelerating Deep Neural Networks by Predicting and Removing Ineffectual MAC Operations

卷积神经网络硬件加速器iMAC通过预测零输出激活函数并优化数据流，在不损失精度的情况下实现2.31倍加速和1.95倍能效提升，3%精度损失时可进一步优化性能。

　　

摘要：

卷积神经网络（CNN）被广泛应用于各种分类任务中。尽管CNN具有较高的准确率，但其计算复杂度也较高，因此在许多应用场景（如物联网IoT）中采用这种方法颇具挑战性。为了解决这一问题，人们提出了CNN硬件加速器。由于CNN中主要使用的激活函数是ReLU，导致大量输出值为零。因此，人们设计了稀疏CNN加速器来降低计算复杂度。最新研究表明，与其使用稀疏CNN加速器，不如直接预测输出为零的情况并跳过相应的计算步骤更为理想。在本文中，我们提出了iMAC加速器来避免无效的计算（即计算结果为零的情况）。为此，我们设计了一个预测单元，能够在不损失准确率的情况下识别出无效计算。接着，我们构建了一种数据流机制来跳过这些无效计算。实验结果表明，iMAC在面积增加12%、功耗增加18%的情况下，实现了2.31倍的加速比和1.95倍的能效提升，且准确率没有下降。即使在准确率下降3%的情况下，其加速比和能效仍分别提升了2.94倍和2.49倍。此外，与之前的预测方法相比，我们的方法在加速比和性能提升方面表现更为优异。