编辑推荐：
自主驾驶目标检测在恶劣天气下的优化研究|混合骨干网络|SHSA注意力机制|GDC-Down下采样结构|多模态特征融合
郝阳|张志刚|陈志格|葛帅帅|于晓霞
重庆理工大学车辆工程学院，中国重庆市巴南区红光大道69号，400000
摘要
目标检测技术是自动驾驶的基石，其准确性直接影响驾驶算法的稳定性和驾驶体验的安全性。然而，夜间、降雨和雾霾等恶劣天气条件会严重降低图像质量，给目标检测模型带来巨大挑战。本文介绍了一种新型的混合骨干检测方法HBMF-You Only Look Once (YOLO)，该方法结合了MobileNetv4和YOLO11骨干网络来增强模型的表达能力。通过引入单头自注意力（SHSA）模块，该方法改进了对空间特征和上下文信息的捕捉能力。设计了一种新的下采样结构GDC-Down，利用深度可分离卷积、幻影卷积和标准卷积实现了多尺度、纹理和语义特征的有效提取。此外，SG-C3k2模块通过融合C3k和Bottleneck模块进行了重新设计，增强了多级特征提取的鲁棒性。在BDD_10k、KITTI和实时交通监控（RTTS）数据集上的实验评估表明，所提出的模型比基线模型具有更高的检测准确性。该模型已成功部署在嵌入式设备上，并在实验车辆中得到应用，显著提升了自动驾驶目标检测的鲁棒性，展示了显著的应用潜力。
引言
随着智能车辆和人工智能的深度融合，自动驾驶逐渐成为现代交通的关键模式[1]、[2]、[3]。自动驾驶的进步有望缓解交通拥堵并大幅降低事故频率。高精度目标检测对于确保自动驾驶车辆的安全至关重要，因为它为预测、决策和运动规划任务提供了可靠的输入。然而，当前的高精度目标检测方法面临诸多挑战[4]、[5]、[6]。其中最主要的挑战是恶劣天气条件的干扰，这些条件会降低传感器图像质量，从而严重影响目标检测模型的检测准确性[7]。因此，针对恶劣天气条件定制的目标检测模型的开发已成为一个重要的研究领域[8]、[9]。
近年来，You Only Look Once (YOLO)模型在自动驾驶和无人机中得到了广泛应用[10]。然而，现有算法尚未完全解决在雨天、雾天和夜间等恶劣环境条件下的性能问题。这些具有挑战性的场景为提高目标检测的鲁棒性和准确性留下了很大的改进空间。目前的图像去雾和自适应算法常被用作恶劣天气下目标检测的预处理步骤，旨在提高图像质量并减轻天气引起的退化[11]。一些研究将恶劣天气下的目标检测视为领域适应任务，试图将清晰图像的特征与恶劣天气下捕获的图像特征对齐。然而，不同天气条件下的图像变化仍然存在显著差异，专为雾天设计的方法往往无法有效泛化到雨天或夜间场景，可能导致信息丢失。因此，应更加重视提升神经网络的特征提取能力，利用多通道和多尺度特征融合来更好地应对各种恶劣天气条件带来的挑战[12]、[13]、[14]。
为了解决上述问题，本文提出了一种基于混合骨干神经网络和多特征融合的新型目标检测方法。本文的主要贡献如下：
- 1.
本文提出了一种混合特征提取网络，将MobileNetv4神经网络架构和单头自注意力（SHSA）模块与YOLO11骨干特征网络相结合。这种集成能够捕捉更多的空间特征信息，并促进多模态数据的融合，从而提升模型的整体感知能力。因此，它在复杂场景中提高了目标的鲁棒性和识别准确性，增强了系统在恶劣条件下的适应性和可靠性。
- 2.
本文提出了一种新的下采样结构，通过结合深度可分离卷积和幻影卷积进行了重新设计。传统的基于卷积的下采样方法常常会导致重要信息的丢失。通过采用多种卷积下采样方法并在通道压缩层进行融合，这种方法有效保留了有用的特征信息，从而提高了提取特征的质量。
- 3.
本文对C3k2模块进行了重新设计，融合了Bottleneck和C3k模块的两侧。重新设计的模块通过特征融合和1x1卷积模块实现了通道压缩输出，能够在保留关键结构和边缘信息的同时提取更详细和语义丰富的特征。这种方法增强了模型在恶劣环境条件下的鲁棒性和检测性能。
本文的其余部分安排如下：第一部分介绍了恶劣天气条件下目标检测准确性的重要性，并分析了现有研究方法中的挑战；第二部分回顾了恶劣天气下物体检测和识别的相关工作，强调了该领域的现有空白；第三部分详细描述了改进模型的结构；第四部分在KITTI、实时交通监控（RTTS）和BDD_10k数据集上展示了实验结果，并将所提出的模型与其他方法进行了比较；最后，该模型在Jetson嵌入式设备上进行了部署，并在真实车辆场景中进行了测试。第五部分提供了结论和总结。
相关研究
相关工作
传统的物体检测方法依赖于手工制作的特征提取，在复杂场景和环境变化下往往表现不佳。例如，小目标尺寸或光照条件差会显著降低检测准确性[15]、[16]。深度学习的出现带来了特征提取和识别能力的突破性进展，大幅提高了准确性和鲁棒性，并扩展了适用场景的范围[17]、[18]。
整体结构
所提出的方法将MobileNetv4与YOLO11骨干特征提取网络相结合，并引入了SHSA注意力模块，形成了双骨干结构。它采用深度可分离卷积、幻影卷积和标准卷积构建了一种新的下采样结构GDC-Down。此外，SG-C3k2模块通过结合C3k和Bottleneck模块进行了重新设计，使模型能够提取更全面的特征信息。
数据集和实验环境
为了验证所提出模型的物体检测性能，使用了KITTI自动驾驶数据集、RTTS数据集和BDD_100K数据集进行了实验。KITTI数据集由卡尔斯鲁厄理工学院和丰田技术研究院联合发布，专门用于自动驾驶研究。该数据集包含了在各种天气和光照条件下捕获的大量街道场景图像。
结论
本文提出了一种基于复合骨干网络和多特征融合的新型物体检测方法，以解决恶劣天气条件下物体检测准确性低的问题。该模型采用复合骨干网络进行特征提取，有效提升了其表达能力。设计了一种新的下采样结构，通过将多种卷积下采样方法集成到通道压缩层中，有效保留了有价值的信息。
CRediT作者贡献声明
郝阳：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、软件、方法论、调查、形式分析、概念化。张志刚：监督、资源管理、项目管理、调查、概念化。陈志格：验证、数据整理。葛帅帅：可视化、项目管理、概念化。于晓霞：监督、概念化。
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。
致谢
本研究得到了国家自然科学基金（编号：52572368）、重庆市自然科学基金（编号：2024NSCQ-MSX1666）、重庆市高等教育机构创新团队计划（编号：CXQT21027）、重庆市人才计划（编号：cstc2021ycjh-bgzxm0261）、重庆市自然科学基金（资助编号：CSTB2024NSCQ-LZX0027）以及重庆市教育科技研究计划的支持。
郝阳于2025年获得重庆理工大学车辆工程硕士学位。目前，他在重庆理工大学车辆工程学院攻读博士学位，导师为张志刚教授。他的研究兴趣包括自动驾驶车辆的物体检测和轨迹预测。
