编辑推荐：
提出DiPerceiveNet统一框架，通过Residual Multi-Scale Abstraction Pathway（ReMAP）增强多尺度特征提取，Bidirectional Information Flow（X-Flow）实现跨层双向交互，Global–Local Attention Mixer（GLoAM）优化全局-局部注意力融合，解决传统分阶段特征提取与融合导致的跨尺度一致性不足问题，在VeRi-776、VehicleID等数据集上显著优于SOTA方法。
Jihao Cai|Zhiqiang He|Zhi Liu|Yangjie Cao
郑州大学，郑州，450002，中国
摘要
车辆重新识别（ReID）旨在通过非重叠的摄像头匹配同一辆车，但由于车辆之间的高度相似性以及视角变化导致的严重外观差异，这一任务仍然极具挑战性。大多数现有方法将特征提取和融合视为两个独立的过程——它们首先提取层次化特征，然后以单向方式进行向量级别的融合。这种范式忽略了特征层内部和层之间的丰富语义线索和结构相关性，导致跨尺度一致性较弱，表示对齐能力有限。为了解决这些问题，我们设计了一个双交互感知网络（DiPerceiveNet），以在层次化特征之间建立统一且迭代的信息流。DiPerceiveNet由三个组件组成：（i）残差多尺度抽象路径（ReMAP），它通过注意力机制整合中间特征图并细化多尺度信息；（ii）双向信息流（X-Flow）模块，实现双向信息传播和跨层交互，从而有效进行多尺度融合；（iii）全局-局部注意力混合器（GLoAM），它自适应地重新加权层次化特征以生成具有区分性的嵌入。在VeRi-776、VehicleID和CityFlow-ReID上的实验表明，DiPerceiveNet在保持竞争力效率的同时，始终优于最新的先进方法。广泛的消融研究和检索可视化进一步验证了每个组件的贡献，并确认了所提出的统一融合范式在细粒度车辆ReID中的有效性。
引言
车辆跟踪在智能交通系统（ITS）中发挥着关键作用，支持交通管理和公共安全[1]。作为其中的一项关键子任务，车辆重新识别（ReID）旨在关联由空间和时间上不重叠的摄像头捕获的同一辆车的实例。尽管深度ReID架构取得了显著进展[2]，但车辆ReID仍然面临车辆视觉特征固有的挑战。实际上，从不同视角观察时，车辆的外观可能会有很大差异[3]，而相同型号的车辆从同一角度观察时可能几乎无法区分[4]。因此，从不同视角捕获的同一辆车的两张图片可能比从相同视角观察的两辆不同车辆的图片看起来更不相似（图1）。这种模糊性突显了需要具有全局语义和细粒度局部线索相结合的特征。
核心挑战在于学习能够在这种模糊性下保持鲁棒性的区分性表示。特定线索的相关性取决于视觉相似性：对于视觉上不同的类别（例如公交车和轿车），粗略的全局属性（如整体形状或大小）可能就足够了；而对于具有几乎相同全局外观的车辆，细微的局部细节（如车身贴纸、车牌区域或挡风玻璃贴纸）则变得不可或缺[2]。这些观察结果强调了联合全局-局部表示学习的必要性，以便在车辆内部和之间的模糊性下保持区分能力。
大多数现有的车辆ReID方法采用一个共同的两阶段范式：它们首先使用主干网络提取层次化特征，然后在后续阶段进行融合/聚合。在这种范式下，特征提取和融合被大致视为两个独立的过程。如图2所示，现有方法大致可以分为三类。第一类[5]、[6]包括依赖检测器或手动注释来定位区分性区域的外部监督方法，但这些方法需要大量的注释工作，并且扩展性较差。第二类[7]、[8]包括基于部分的方法，它们将图像划分为预定义的语义区域以提取局部特征；然而，刚性划分通常会破坏语义一致性，并且对视角变化和遮挡敏感。第三类[9]、[10]采用多分支架构，在主干网络提取后分别处理全局和局部线索，这可能会低估主干层次结构中不同层次（低/高层次）之间的互补线索[11]，并限制跨分支的交互。因此，在特征提取过程中无法充分传播跨尺度相关性[12]，这促使我们需要一个能够在特征学习过程中实现双向跨尺度交互的统一框架，而不仅仅是在之后。
从人类视觉感知中可以得到一个有前景的视角，在那里识别是通过动态的自上而下和自下而上的交互产生的[13]。例如，一个模糊的物体可能在粗略层面上首先被感知为“一辆车”，然后通过关注细节（如轮廓或标志）被细化为特定的身份。这一类比启发了我们的设计，强调了特征层次之间的动态双向信息交换。然而，在现有的分离提取-融合范式下，大多数ReID方法忽略了这种交互的显式建模[14]，而是强制在全局和局部表示之间进行刚性分离，并且只在语义层面进行融合，这限制了跨层次的交互。
为了解决这些限制，我们提出了双交互感知网络（DiPerceiveNet），它将特征提取和融合统一为一个动态的跨尺度过程。DiPerceiveNet包括三个关键组件：（i）残差多尺度抽象路径（ReMAP），它通过注意力机制整合中间特征并细化细粒度细节和高层次语义；（ii）双向信息流（X-Flow）模块，它实现双向传播和跨层交互，确保在上采样和下采样过程中的一致对齐；（iii）全局-局部注意力混合器（GLoAM），它引入了带有位置编码和通道压缩的紧凑自注意力机制，以最小的开销增强语义一致性。与之前的多分支设计不同，DiPerceiveNet在主干层次结构内部进行交互，允许特征提取和融合共同演化，而不是保持分离。
主要贡献总结如下：
•我们提出了DiPerceiveNet，这是一个将多尺度特征提取和融合集成到单一交互过程中的统一框架。与传统的分别提取和融合特征的架构不同，DiPerceiveNet通过动态的跨尺度交互使特征表示共同演化，从而在层次级别上实现一致的语义对齐。
•所提出的网络包含三个组件。ReMAP充分利用了主干网络的浅层，并强调它们对车辆区分的贡献，通过注意力驱动的增强来细化多尺度特征抽象。X-Flow在特征层次之间实现双向信息传播，促进上采样和下采样过程中的交互。GLoAM在最后阶段引入了带有位置编码和通道压缩的轻量级全局-局部注意力机制，以最小的计算成本增强语义一致性。
•在VeRi-776和VehicleID基准测试上的广泛实验表明，DiPerceiveNet在没有辅助注释的情况下实现了更高的准确性和鲁棒性，验证了其跨层和跨尺度设计的有效性。
本文的其余部分组织如下。第2节回顾了与车辆ReID相关的工作，重点关注局部-全局特征提取、注意力机制和融合策略。第3节介绍了提出的DiPerceiveNet及其三个核心模块。第4节介绍了在VeRi-776和VehicleID上的实验设置和评估。第4.4节提供了消融研究和视觉分析。最后，第5节总结了本文。
章节片段
局部-全局特征提取
卷积神经网络（CNN）在提取粗粒度全局特征方面非常有效。然而，它们通常无法捕捉到细粒度的局部细节[16]。这些细节对于在ReID任务中区分视觉上相似的车辆至关重要。为了解决这一限制，一些方法使用外部检测器或依赖部分级注释。它们识别关键区域，如前灯或车牌[5]、[17]。尽管这些方法提高了对细微变化的敏感性，但
方法
为了将特征提取和融合集成到一个动态过程中，我们设计了一个名为双交互感知网络（DiPerceiveNet）的统一框架。DiPerceiveNet由三个关键模块组成：ReMAP、X-Flow和GLoAM。ReMAP从不同的主干深度捕获层次化多尺度特征。它在抽象高层次语义的同时保留了低层次的结构细节。X-Flow实现跨尺度之间的双向交互，确保了跨尺度的语义一致性
数据集和评估指标
数据集我们在三个标准的车辆ReID基准测试上进行评估：VeRi-776 [38]、VehicleID [39] 和 CityFlow-ReID [40]。VeRi-776包含50K多张由20个非重叠摄像头捕获的776辆车图像（训练/测试：37,781/576 和 11,579/200），颜色标签有限，增加了细粒度的模糊性。VehicleID是一个大规模数据集，包含221,763张26,267辆车的图像，在三个子集（小/中/大：800/1600/2400辆车）上进行评估。CityFlow-ReID包含52,717张440辆车的图像
结论
本文提出了DiPerceiveNet用于车辆重新识别，其灵感来源于人类视觉系统的动态感知过程。DiPerceiveNet在单一感知框架内统一了自上而下的语义和自下而上的细节，共同建模了全局线索和细粒度的局部信息。该框架包括三个关键模块：ReMAP用于增强多尺度特征提取，X-Flow用于实现双向跨层交互，GLoAM用于紧凑
CRediT作者贡献声明
Jihao Cai：撰写——审阅与编辑，撰写——原始草稿，可视化，验证，软件，方法论，概念化。Zhiqiang He：撰写——审阅与编辑，数据管理。Zhi Liu：撰写——审阅与编辑，监督，项目管理。Yangjie Cao：撰写——审阅与编辑，监督，资源获取。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
