自适应区域编码技术在边缘计算中实现高效视频对象检测

《Knowledge-Based Systems》：Adaptive Region Encoding for Efficient Video Object Detection in Edge Computing

视频目标检测传输优化研究提出自适应ROI编码机制AROIE，通过动态量化参数调整平衡压缩率与检测精度，实验表明数据量减少40%且保持高准确率。

　　

高丽莎|谭静|杨浩宇|徐振轩|黄昭武|董芳|韩硕

国家电网江苏省电力有限公司南京供电分公司，江苏省南京市，210008，中国

摘要

随着计算机视觉技术的迅速发展，智能摄像头已广泛应用于各个领域，从而对视频对象检测的需求日益增长。然而，这项任务面临着高带宽消耗、显著传输延迟和巨大计算负载等挑战，这些因素严重限制了其在边缘计算环境中的实时性能和实际应用。为了解决现有方法在压缩与准确性之间平衡方面的局限性，本文提出了一种自适应感兴趣区域（ROI）编码机制，以优化视频传输。当前的动态ROI编码方法虽然能够减少冗余数据，但通常依赖于静态固定的量化参数（QP），导致策略过于粗粒度。这迫使我们在简单内容和复杂对象之间做出次优的权衡。为了解决这些问题，我们提出了自适应感兴趣区域编码（AROIE）机制，该机制引入了一种细粒度的、基于内容的QP选择策略。AROIE提取关键视频内容特征（包括对象类别、大小、运动、光照条件和重叠情况），并利用深度强化学习动态调整QP，从而优化视频传输。实验结果表明，所提出的机制能够根据内容特征自适应选择量化参数，将视频数据量减少了约40%，同时在VisDrone2019数据集上实现了0.43的mAP分数，在KITTI数据集上实现了0.84的mAP分数。

引言

随着计算机视觉技术的快速发展，智能摄像头已广泛应用于智能安全、自动驾驶和智慧城市等领域，从而对视频对象检测任务的需求不断增加[1]。然而，视频对象检测面临着高带宽消耗、显著传输延迟和重计算负载等挑战。传统的计算范式，包括本地计算和云计算，都存在固有的局限性。虽然本地计算可以减轻数据传输延迟，但本地设备的计算能力和存储资源往往不足以支持复杂的视频对象检测任务。另一方面，尽管云计算提供了强大的计算和存储能力，但大量的视频数据需要大量的带宽才能上传到云端，这导致了延迟增加，并给实时性带来了挑战。

边缘计算的出现为这些挑战提供了一个有前景的解决方案。通过将计算任务从云端卸载到边缘服务器或智能终端设备，边缘计算可以有效减少带宽消耗和数据传输延迟[2]。尽管边缘计算在一定程度上缓解了带宽和延迟问题，但边缘的计算和网络资源仍然有限。视频对象检测是一项对通信和计算要求较高的应用，需要高准确性和低延迟。因此，仅仅将任务卸载到边缘是不够的。进一步优化视频传输阶段对于更有效地利用有限资源并满足应用需求至关重要。具体来说，优化视频传输可以显著减少不必要的数据传输，降低带宽使用和延迟，同时仍能保证视频对象检测的高准确性。

在优化视频传输阶段，现有研究主要从两个角度尝试减少视频数据冗余：帧间冗余和帧内冗余。在关注帧间冗余的研究[3]、[4]中，典型方法使用算法选择关键帧，并将这些帧的对象检测结果应用于整个视频片段。然而，由于视频内容的动态性，可靠地识别关键帧仍然具有挑战性。目标对象的出现和消失、光照条件的变化以及动态背景变化等因素使得建立一致的关键帧选择标准变得复杂。此外，现有方法在复杂场景中容易出错。例如，基于运动的关键帧选择方法可能在目标运动微妙或背景运动复杂时错误地将非关键帧指定为关键帧，从而导致检测准确性显著下降。

在解决帧内信息冗余的研究中，现有方法旨在利用视频对象检测的上下文信息来确保对象检测的准确性，同时减少视频数据传输量[5]、[6]、[7]、[8]。通过动态感兴趣区域编码（DRE），这些方法调整非感兴趣区域（非ROI）的量化参数（QP），以减少视频冗余。具体来说，根据前一组图片（GOP）的检测结果，将视频帧划分为目标区域和非目标区域。然后对这些区域应用不同的QP值进行编码：对目标区域应用低QP以保留细节和准确性，而对非目标区域应用高QP以实现数据压缩，从而减少带宽使用和传输延迟。然而，现有方法的一个关键局限性是它们依赖于整个区域的静态固定QP，这是一种粗粒度的分配策略。这种僵化导致两个主要缺点：压缩效率低下和准确性损失。这些方法缺乏根据目标区域的不同特征动态调整QP的能力。因此，它们无法适应高度动态的视频环境，在这种环境中，不同的对象和场景需要不同的编码策略来最佳平衡压缩和准确性。这一根本局限性激发了需要一种更细致的、基于内容的QP选择机制的需求。

为了解决上述挑战，本文提出了一种新的面向传输的自适应ROI编码（AROIE）机制，其核心创新在于细粒度的、基于内容的QP选择策略。与使用固定QP值的现有工作不同，我们首先进行了全面的定量分析，以确定五个关键因素——对象类别、大小、运动状态、光照条件和遮挡程度——如何影响检测准确性和最佳QP选择。这一分析为自适应QP选择奠定了理论基础。随后，我们设计了一种基于深度强化学习的QP选择算法，将这些量化的内容特征动态映射到最佳QP值，确保在不牺牲检测准确性的情况下最小化数据传输。此外，还设计了一种基于最小编码单元（MCU）的区域微调方法。通过扩展目标区域的边界，该方法减轻了“块效应”对对象检测准确性的影响[9]。

为了评估所提出方法的有效性，使用VisDrone2019[10]和KITTI[11]数据集进行了一系列实验，YOLOX系列模型作为对象检测器。将所提出的AROIE方法与几种现有方法进行了比较，包括EAAR、EdgeDuet和DDS。实验结果表明，AROIE能够根据视频内容特征自适应选择适当的QP，从而显著减少了视频数据量，同时提高了检测准确性。具体来说，AROIE在VisDrone2019上的压缩比达到了43%，在KITTI上达到了42%，优于EAAR（21%和21%）、EdgeDuet（35%和35%）和DDS（16%和15%）。在检测准确性方面，AROIE在VisDrone2019上达到了0.43的mAP，在KITTI上达到了0.84，而EAAR分别为0.40和0.81，EdgeDuet分别为0.32和0.76，DDS分别为0.41和0.83。在不同对象类别、大小、运动状态、光照条件和遮挡程度等各种条件下，AROIE的优越性始终得到验证，证明了其在平衡准确性和压缩方面的增强能力。

我们的主要贡献总结如下：

•

本文首次定量识别了影响检测准确性的五个关键内容特征，并利用这些特征实现了细粒度的QP调整。这种方法显著减少了视频数据传输，同时保持了高检测准确性，克服了现有方法中粗粒度QP分配的局限性。

•

我们引入了一种基于A2C的深度强化学习算法，用于动态调整QP值，实现了智能编码优化。

•

在VisDrone2019和KITTI数据集上的实验表明，我们的方法在复杂场景中提高了视频压缩率并保持了高准确性，优于边缘计算环境中的现有方法。

部分摘录

动机

在边缘智能场景中，视频对象检测会产生大量的视频流数据，这要求高准确性和低延迟，同时需要优化传输延迟、带宽和计算成本。尽管动态感兴趣区域编码（DRE）方法（通过对目标区域（例如QP=20）和非目标区域（例如QP=50）应用不同的量化参数）可以减少冗余，但它们存在一些局限性。

首先，现有的DRE方法缺乏...

基于DRE技术的边缘视频目标检测执行模式分析

利用动态感兴趣区域（DRE）技术进行边缘视频对象检测的研究通常采用编码器的最小编码单元（MCU）分区技术[20]。终端根据前一个视频帧的检测结果将视频区域划分为目标区域和非目标区域。非目标最小编码单元（MCU）通过粗粒度编码使用更高的QP值进行编码，从而减少了视频背景信息的冗余并提高了传输效率

用于传输优化的自适应区域编码机制

为了解决使用DRE进行视频对象检测时最小化视频传输量的问题，本文提出了一种传输优化的自适应区域编码机制。首先，利用影响QP值选择的因素提取视频内容特征，并通过量化获得目标区域的特征向量；然后，从编码器的最小编码单元的角度提出了一种区域微调方法；最后，提出了一个量化器

实验设置和结果分析

在前一节中，本文提出了一种用于传输优化的自适应区域编码机制，分析了影响量化器参数选择的视频内容特征，制定了在视频区域编码下最小化传输数据量的模型，并基于深度Q网络（DQN）设计了一种自适应量化器参数算法，以解决上述问题，实现了视频目标检测的传输优化。

相关工作

视频分析与人类视觉需求不同；机器在执行视频分析任务时并不关注内容的平滑度和清晰度，而是关注视频对象检测任务的推理准确性和速度。

现有研究主要集中在视频过滤上，包括帧间过滤和帧内过滤。帧间过滤研究主要基于视频帧的变化进行过滤。

结论

本文提出了一种基于边缘计算的自适应区域编码机制，用于优化视频对象检测中的视频传输。通过提取视频内容特征（如目标类别、大小、运动、光照条件等），并结合深度强化学习算法动态调整量化器参数，该机制可以在不同场景中自适应选择最佳编码参数，从而显著减少数据量

未引用的参考文献

[28], [29]。

CRediT作者贡献声明

高丽莎：方法论、调查、形式分析、概念化。谭静：方法论、概念化。杨浩宇：写作——审阅与编辑、原始草稿撰写。徐振轩：写作——原始草稿撰写。黄昭武：可视化。董芳：监督、概念化。韩硕：监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本项工作得到了国家电网江苏省电力有限公司科技计划的支持，项目编号为J2024147。此外，作者感谢沈军教授在论文写作方面的建议以及匿名审稿人的评论。

高丽莎于2007年获得东南大学计算机应用技术硕士学位。她目前在国家电网江苏省电力有限公司南京供电分公司工作，她的研究重点是电力人工智能和电力数字化转型。