RA-PTQ：一种基于重新参数化的训练后量化技术，用于在低比特条件下实现精准的视觉Transformer性能

《Knowledge-Based Systems》：RA-PTQ: Reparameterization-Aware Post-Training Quantization for accurate vision transformers in low-bit scenarios

　　丁睿 | 赵思欢 | 史佳宇 | 聂静 | 陈利辉 | 刘海军 | 周西川
重庆大学微电子与通信工程学院，中国重庆，401331

摘要
由于模型规模的不断增加，与耗时的量化感知训练（QAT）相比，高效的训练后量化（PTQ）逐渐成为压缩视觉变换器（ViTs）的突出方法。以往的研究提出了尺度重新参数化技术，以在保持模型性能的同时保持对硬件的友好性。然而，我们通过实验发现，基于不同的ViT架构，重新参数化在低比特量化场景中会导致显著的性能下降。为了解决这个问题，我们提出了一个名为RA-PTQ的创新PTQ框架，以实现重新参数化感知量化，从而获得精确的低比特ViTs。具体来说，我们首先提出了一种自适应对数量化方法，以适应不同的数据分布和量化比特宽度，减少softmax和GELU激活后的量化误差。其次，我们不顺序地对层归一化（Post-LayerNorm）激活后的通道量化器进行重新参数化，而是采用两阶段重新参数化感知校准来执行这一过程。最后，为了进一步减少重新参数化引起的输出偏差，我们提出了一种重新参数化感知重构策略，包括两个重构优化阶段，显著提高了低比特量化下的模型性能。在ImageNet和COCO数据集上的实验结果表明，我们提出的方法在图像分类、目标检测和实例分割任务中优于其他现有的PTQ算法。此外，我们的方法在模型性能和量化效率之间取得了良好的平衡，为未来的工作奠定了坚实的基础。本文被接受后，相关代码将可供下载。

引言
注意力机制使Transformer [1] 具备了强大的表示能力，使其在模型性能方面展现出比传统的神经网络架构（如卷积神经网络和全连接神经网络）更出色的潜力与优势。特别是由Transformer块构成并在大规模数据集上训练的视觉变换器（ViTs）[2]，在许多计算机视觉领域取得了显著成果，包括图像分类 [3]、[4]、[5]、语义分割 [6]、[7]、[8]、目标检测 [9]、[10]、[11] 等。然而，ViTs的深度和密集架构在模型部署时产生了巨大的计算和内存需求，这对资源受限的硬件（如嵌入式设备和物联网设备）来说是一个重大挑战，因为它们无法承受这样的负担。因此，这限制了ViT模型的广泛应用。为了解决这一挑战，模型量化被广泛采用作为一种有前景且成熟的技术。它通过将全精度权重和激活量化为低比特表示来降低计算和内存需求。一般来说，量化可以分为量化感知训练（QAT）和训练后量化（PTQ）。随着ViT模型规模的持续增长，与需要从头开始在整个训练集上进行训练的耗时QAT相比，PTQ只需要一小部分未标记数据就可以校准量化参数，因此效率更高。因此，PTQ在ViT量化中受到了越来越多的关注。为了减轻量化误差，之前的研究（如PTQ4ViT [13] 和 FQ-ViT [14]）为ViT中的特定组件（如Post-GeLU、Post-Softmax和LayerNorm）提出了专用量化器。然而，在考虑模型推理开销时，这些量化器通常设计得较为简单且对硬件友好，特别是在低比特量化时会导致显著的准确性损失 [16]。为了同时利用复杂量化器的性能和简单量化器的效率，RepQ-ViT [15] 提出了一个量化-推理解耦框架。它在量化阶段使用log2和通道量化器，并通过两阶段重新参数化感知校准来获得对硬件友好的log2和层量化器。这种技术减少了量化误差并提高了对硬件友好的量化的性能。然而，如图1所示，基于不同ViT架构的ImageNet上的低比特（3位和4位）量化模型与全精度模型之间存在明显的准确性差距。例如，3位量化的ViT-S和ViT-B的准确率分别仅为0.46%和0.24%，低于全精度模型的80.93%和84.30%。如图2(a)所示，当前的重新参数化方法有三个局限性：(1) 对数量化器的固定尺度重新参数化适用于不同的层和比特宽度，导致较大的量化误差；(2) 通道量化器的顺序重新参数化（校准→重新参数化→重新校准）忽略了校准阶段重新参数化的影响，并引入了多余的重新校准阶段；(3) 重新参数化和量化过程导致与全精度模型相比有较大的输出偏差。尽管传统的重构方法 [17]、[18] 可以通过最小化全精度模型与量化模型之间的输出差异来缓解这一问题，但由于忽略了重新参数化对重构过程的负面影响，所得结果并不理想。为了解决上述问题，如图2(b)所示，我们提出了一种新的重新参数化感知训练后量化（PTQ）框架RA-PTQ，旨在提高重新参数化后的低比特量化视觉变换器的准确性。具体来说，为了适应不同的量化比特和数据分布，我们首先提出了一种自适应对数量化（ALQ）方法，根据量化误差的最小化选择log2或重新参数化的log2量化器。其次，与RepQViT中顺序进行的校准后通道重新参数化不同，我们提出了一种重新参数化感知校准（RAC）策略，使后续层的校准能够考虑到重新参数化的影响。此外，通过先校准激活值再校准权重，我们减少了量化权重对激活量化的负面影响，并消除了多余的重新校准。最后，为了进一步减少尺度重新参数化和低比特量化引起的性能下降，我们提出了一种新的重新参数化感知重构（RAR）策略，包括两个具有不同可学习粒度和参数的重构阶段。在第一阶段，我们同时优化权重和量化参数，以减少通道量化器重新参数化的影响。在第二阶段，我们仅优化权重，以进一步减少块级重构误差。通过整合这些技术，所提出的RA-PTQ方案能够高效地实现ViTs的高精度重新参数化和低比特量化。这不仅提高了计算效率，还保持了较高的准确性，使其成为实际应用中的有希望的解决方案。

我们的贡献可以总结如下：
• 我们提出了一种名为RA-PTQ的新框架，用于视觉变换器的训练后量化。与以往的工作不同，该框架有效减轻了低比特量化下重新参数化方法的性能下降。
• 我们引入了自适应对数量化方法来适应不同的数据分布和比特宽度。此外，我们使用了重新参数化感知校准方法进行通道级别的尺度重新参数化。最后，我们采用了两阶段重构的重新参数化感知重构策略，进一步提高了低比特量化ViTs的性能。
• RA-PTQ在ImageNet和COCO数据集上的实验结果表明，该方法在图像分类、目标检测和实例分割任务中的性能优于其他现有的PTQ算法。具体来说，它在3位ViT-S和ViT-B上分别达到了61.52%和76.65%的Top-1准确率，比RepQ-ViT基线分别提高了61.06%和76.41%。

章节片段
基于自注意力机制，Transformer在自然语言处理领域取得了巨大成功 [1]。凭借建模长距离关系的能力，研究人员最近提出了一系列基于Transformer的视觉主干网络，以替代计算机视觉任务中的卷积神经网络（CNNs）[19]。
视觉变换器 [2] 首次提出将Transformer架构从自然语言处理任务引入计算机视觉领域。

ViTs的组成
传统的Transformer [1] 是为序列语言模型任务设计的，由多个模块组成，包括多头自注意力（MHSA）、多层感知器（MLP）和层归一化（LN）。因此，为了利用Transformer在序列数据中的强大长距离建模能力，视觉变换器（ViTs）[2] 首先将2D输入图像分割成1D patch，然后使用嵌入线性变换将它们投影到特征表示X(0)∈RN×D。

基于最近的研究 [30]、[33] 的观察，Post-GELU激活也表现出幂律分布，尽管它们总是具有负值，这不适合基于log2的量化器。为了解决这个问题，我们首先使用校准数据集计算Post-GELU激活的最小值xmin，然后应用值偏移变换将所有激活值映射到正域。

模型和数据集
通过应用提出的RA-PTQ方法，我们对不同类别的视觉变换器（包括ViT [2]、DeiT [20] 和 Swin-Transformer [21]）以及各种模型配置（如tiny、small和base规模）进行了量化实验。我们使用timm库 [34] 中的预训练权重对这些模型进行训练后量化。量化比特宽度设置为4位和3位，以评估PTQ方法在低比特量化场景下的性能。

结论
在本文中，我们提出了一种新的PTQ方法（RA-PTQ），用于在进行低比特量化时的重新参数化感知校准和优化，包括自适应对数量化（ALQ）、重新参数化感知校准（RAC）和重新参数化感知重构（RAR），以减轻重新参数化对量化性能的负面影响，尤其是在低比特场景下。具体来说，ALQ首先根据量化误差的最小化选择log2或重新参数化的log2量化器。

CRediT作者贡献声明
丁睿：撰写 – 审阅与编辑、撰写 – 原稿、方法论、概念化。
赵思欢：验证、软件。
史佳宇：可视化、验证、软件。
聂静：撰写 – 审阅与编辑、验证、软件。
陈利辉：撰写 – 审阅与编辑、软件、概念化。
刘海军：撰写 – 审阅与编辑、监督、项目管理。
周西川：监督、资源获取。

利益冲突声明
作者声明没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢
本工作得到了国家自然科学基金（U2133211、62301092、62301093）的支持。