面向长尾自动驾驶目标检测的加权Copula熵结构化剪枝框架

《Entropy》：Weighted Copula Entropy for Structural Pruning in Long-Tailed Autonomous Driving Object Detection Yue Zhou, Jihui Ma and Honghui Dong

为解决车载计算单元(OCU)资源受限下，自动驾驶深度卷积神经网络(DCNN)面临的计算效率与安全关键鲁棒性的核心矛盾，研究人员提出了一个结合弹性网络正则化和加权Copula熵(WCE)的结构化剪枝框架。该研究针对长尾交通场景，通过解耦特征相关性与样本丰度，有效保留了稀有类别的判别特征。在BDD100K数据集上的实验表明，该方法在显著降低模型计算量和参数量的同时，几乎无损全局检测精度，并大幅提升了极端尾部类别的检测性能。该工作为自动驾驶感知模型提供了一种轻量化方案，并为结构化网络剪枝提供了新的信息论视角。

　　

想象一下，一辆自动驾驶汽车正在城市中穿行。它的“眼睛”——感知系统，需要实时识别周围的一切：川流不息的汽车、偶尔路过的行人、以及极为罕见但同样危险的电车。然而，现实世界的交通数据天生是“长尾”的：大部分样本是“汽车”这类常见物体，而“电车”这类关键但稀少的类别样本量却极少。这使得当前主流的模型压缩（或称“剪枝”）技术陷入困境。传统方法依赖于权重的大小或几何统计来判定神经网络中某个通道（或称“滤波器”）的重要性，并剪掉那些不重要的部分，以降低计算负担，适配车载计算单元(OCU)苛刻的功耗和算力限制。但一个致命的缺陷是，它们错误地将“参数大小”等同于“特征重要性”，结果往往将那些对识别稀少类别至关重要的通道也一并剪除，因为在训练数据中它们激活的次数少，权重也较小。这无异于在给自动驾驶系统“减肥”时，不小心切掉了识别罕见危险的关键神经。

为了破解这一难题，一篇发表在《Entropy》上的论文“Weighted Copula Entropy for Structural Pruning in Long-Tailed Autonomous Driving Object Detection”提出了一种全新的思路。作者周越(Yue Zhou)、马继辉(Jihui Ma)和董宏辉(Honghui Dong)认为，评价一个通道是否有用，不应看它“个头”大小，而应看它“携带的信息”多少。他们不再依赖物理意义上的权重幅值，转而从信息论的角度出发，评估特征的语义效用。为此，他们设计了一个两阶段的结构化剪枝框架，核心创新在于引入了“加权Copula熵”这一统计度量。简单来说，Copula熵是互信息的等价负值，擅长捕捉变量间非线性的依赖关系，而“加权”则巧妙地将类别样本数量的倒数作为权重，融入Copula的估计中。这样，即使某个特征只对极少出现的“电车”类别有强相关性，其重要性也会被公正地评估和放大，而不是被海量的“汽车”样本所淹没。通过这种方式，该方法实现了特征相关性与样本丰度的“解耦”，确保剪枝后保留的通道是基于其内在信息内容，而非在训练集中出现的频率。

为开展这项研究，作者们主要采用了几个关键技术方法。首先，他们使用弹性网络正则化对批归一化的缩放因子进行稀疏训练，以诱导网络的结构性稀疏。其次，他们提出加权Copula熵度量，并结合最大相关性最小冗余(mRMR)准则，从信息论角度进行通道选择。实验基于大规模自动驾驶数据集BDD100K进行，并采用了YOLOv5l和YOLOv8l两种流行的实时目标检测架构作为基准模型，以评估所提方法的压缩效果和检测精度。

研究结果

3.1. 剪枝框架概述

研究提出了一种迭代的通道剪枝流程。该框架始于对原始模型进行稀疏训练，随后进入“通道特征选择”与“通道剪枝”的迭代循环，直至满足剪枝限制，最后通过微调恢复精度。如图2所示，该流程系统地实现了模型的压缩。

3.2. 通过弹性网络正则化进行稀疏训练

在训练阶段，通过修改损失函数，加入对每层批归一化缩放因子向量的弹性网络惩罚项。该正则化项结合了L₁和L₂范数，其强度由超参数λ控制，混合比例由ρ控制。这一操作驱使不重要的通道缩放因子趋向于零，从而暴露出网络内部的冗余结构。

3.3. 类别平衡的加权Copula熵推导

这是本研究的核心理论贡献。研究人员从Copula熵的基本原理出发，论证了其与互信息的等价关系。针对长尾数据问题，他们在经验Copula估计中引入了逆类别频率加权，从而推导出加权Copula熵公式。这使得评估特征与目标类别之间的统计依赖关系时，能够摆脱样本数量不均衡的偏差，公平地对待头部和尾部类别。

4. 实验设计与5. 结果讨论

在BDD100K数据集上的大量实验表明，所提出的方法取得了优越的效率-精度权衡。在50%的剪枝率下，对于YOLOv5l模型，浮点运算次数(FLOPs)和参数量减少了近50%，而平均精度均值(mAP@0.5)仅损失0.09%；对于YOLOv8l模型，mAP@0.5仅损失0.14%。尤为重要的是，该方法显著提升了极端尾部类别的检测性能：对于“火车”类别，YOLOv5l的mAP从0%提升至3.84%，YOLOv8l的mAP从2.76%提升至5.12%。这些结果证明了该方法在保留对安全关键的少数类别检测能力方面的有效性。研究还进行了广泛的消融实验，验证了加权Copula熵和mRMR策略各自的作用。

结论与讨论

本研究成功提出并验证了一种面向长尾自动驾驶场景的信息论通道剪枝框架。它通过引入加权Copula熵作为特征效用度量，从根本上改变了结构化剪枝的标准——从依赖物理幅值转向评估语义信息。该方法的核心优势在于，它利用信息论工具（加权Copula熵）和特征选择准则（mRMR），在诱导模型稀疏性的同时，确保了对长尾分布中少数类别判别特征的保留。实验结果表明，该框架不仅实现了显著的模型轻量化，更重要的是，它缓解了模型压缩与尾部类别性能下降之间的固有矛盾，这对于在开放世界环境中部署安全可靠的自动驾驶感知系统至关重要。此项工作为轻量级模型设计提供了新思路，也为处理真实世界数据的不平衡性提供了信息论层面的解决方案，具有重要的理论意义和实际应用价值。