《Engineering Applications of Artificial Intelligence》：The research on railway inspection visual localization method based on multilevel feature matching
编辑推荐：
基于视觉特征的铁路里程映射与双阶段定位方法，通过构建"视觉里程"数据库和改进的ResNet34-NetVLAD特征聚合网络实现初步定位，再结合Epipolar几何约束进行高精度位置推算。实验表明在2.38公里校园和30公里铁路测试中，TOP-1定位准确率达83.9%，平均误差5.67米，硬件仅需校准智能手机。创新点包括首次建立视觉-里程映射库、双阶段协同定位机制及乘客参与的铁路安全防控模式。
李培刚|刘泽轩|张青|张志鹏|王璐|李静琪|陈建军
上海工业大学智能技术学院，中国上海 201418
摘要
精确的定位对于铁路检测操作至关重要。本研究针对现有定位方法在复杂性、准确性和成本方面的局限性，提出了一种适用于铁路工作人员和列车乘客的两阶段视觉位置识别（VPR）方法。该方法基于深度学习，使用34层残差网络（ResNet34）和极线几何约束模型。首先，通过将“远近”轨道旁的场景与其对应的里程关联起来，构建了一个“视觉里程”数据库。所提出的两阶段定位框架包括：（1）初步定位阶段，利用改进的ResNet34和网络向量局部聚合描述符（NetVLAD）进行特征聚合，通过三元组损失函数增强特征区分度；（2）精确定位阶段，利用极线几何学估计相对姿态以实现高精度定位。在2.38公里的校园测试路线和30公里的铁路现场测试中，实验结果显示，在前5个候选图像（TOP-5）中正确目标位置的检索准确率为87.5%，在前1个候选图像（TOP-1）中为83.9%。平均定位误差为5.67米，90%的误差小于或等于10米，从而满足铁路检测的精度要求。我们的研究首次将人工智能驱动的视觉定位应用于铁路检测定位，创新地将列车乘客纳入铁路检测过程，为智能铁路系统检测提供了新的解决方案。
引言
随着铁路行业的快速发展，确保铁路线路的安全和运营效率变得越来越重要。尽管传统的铁路检测方法在识别潜在的轨道隐患方面有效，但这些方法常常面临上传延迟、定位不准确和效率低下等问题。近年来，基于机器学习和深度学习的人工智能（AI）技术在各个领域取得了显著进展（Cao等人，2024年；Zhang等人，2023年、2026年；Pang等人，2025年），大幅提高了效率和技术能力。同样，AI也为铁路行业的发展带来了新的机遇，越来越多的研究开始关注智能和自动化的铁路检测技术（Bani?等人，2019年；Siddiqui等人，2022年；Li等人，2023年；Jin等人，2019年）。
在铁路检测研究领域，以往的工作主要集中在综合铁路检测系统的开发或特定类型缺陷的感知和处理上，而忽视了对铁路隐患精确定位的研究（Ren等人，2021年；Vijayalakshmi等人，2022年；Lv和Niu，2023年）。在这些综合铁路检测系统的研发过程中，许多研究提出了利用视觉信息和辅助传感器的定位方法（Wu等人，2023年；Olivier等人，2025年）。然而，这些方法通常存在依赖昂贵硬件、定位精度有限和计算资源需求高的问题，未能在成本、精度和效率之间取得理想平衡。为了解决这些问题并提高铁路检测定位的自主性和智能化水平，本文提出了一种适用于铁路管理人员和列车乘客的AI驱动视觉定位算法。该算法有效缓解了现有方法的局限性，在降低硬件需求和提升系统效率的同时保持了高定位精度。
在轨道建设的早期阶段，轨道里程和相应的视觉地标被存储在数据库中，从而建立了“视觉里程”数据库。当铁路工作人员或列车乘客再次访问同一地点时，他们可以拍摄轨道旁的“远近”照片并上传查询图像。利用本研究中开发的三元组损失网络模型，提取当前视觉特征并与数据库中存储的特征进行比较。基于最优深度学习模型构建的图像检索系统从数据库中检索出TOP-1图像及其对应的里程，从而实现初步的区域定位。随后，根据查询图像与数据库返回的TOP-1图像之间的共同视图特征计算相对位置，并应用极线几何约束。一旦获得TOP-1图像的绝对里程，就可以通过基本矩阵和物理映射推断出查询图像的具体位置，从而完成铁路检测位置的精确定位。此外，我们提出了一种新的铁路检测方法，重新定义了“乘客在铁路检测中的作用”。如图1所示，传统的铁路检测相关研究通常侧重于直接使用铁路专业人员或先进的铁路设备来有效定位和检查铁路基础设施和潜在的安全隐患（Wang等人，2026年）。相比之下，我们的研究使用商用且经过校准的智能手机作为数据收集和视觉感知工具。当乘客发现铁路上的潜在隐患时，他们拍摄隐患位置的“远近”照片并上传到两阶段视觉定位算法系统中。铁路工作人员随后可以使用该算法确定隐患位置的实际轨道里程。这种方法显著提高了隐患检测和解决的效率。该算法的结果可以直接应用于多种场景，包括列车乘客、铁路维护人员以及配备视觉采集设备的检测机器人或无人机，从而具有更广泛的实际价值。
图2展示了所提出的检测定位方法的概念框架。实验结果表明，本研究提出的两阶段视觉定位方法在成本效益、实用性和定位精度方面具有显著优势。该方法仅需一台经过校准的商用级智能手机来捕捉轨道上的“远近”视觉地标，然后将其上传到算法系统进行精确定位。与通常部署在轨道上的传统高精度GNSS设备或RFID系统相比，该方法在硬件投资方面具有显著的成本优势。在计算效率方面，所提出的视觉定位算法在RTX 4090平台上可实现约20毫秒的单帧处理速度，模型参数数量仅为21.3百万个。在2.38公里的校园模拟轨道（包含6290张图像）和30公里的真实铁路场景（包含2133张图像）上进行的系统测试表明，该方法的平均定位误差为5.67米，中位定位误差为5.32米，显著优于铁路领域的现有视觉定位技术。
本研究的主要创新体现在以下三个方面：
- (1)
本研究首次提出了一种基于“视觉特征-里程”数据库的定位方法，该方法通过将铁路里程映射到视觉特征上来构建。这种方法显著提高了铁路检测定位的自主性，减少了对昂贵铁路基础设施（如接触网杆、公里标记、百米标记以及GNSS卫星信号等相关设备）的依赖，从而降低了检测定位任务的成本。
- (2)
本文提出了一种用于铁路检测的两阶段视觉定位算法。初步定位使用基于ResNet34和NetVLAD构建的图像检索系统进行。随后，根据初步定位结果，通过极线几何学、三角测量和物理尺度恢复实现精确定位。这种方法在确保高精度定位的同时，有效降低了计算开销。
- (3)
本研究提出了一种适用于铁路检测的“群防群控”方法。该方法简化了铁路检测定位任务的复杂性及所需的专业知识，同时促进了更广泛的社会参与。通过捕捉铁路隐患位置的周边图像，算法系统可以计算出相应的轨道里程。因此，铁路乘客也可以直接参与铁路安全的预防和控制。
本文的其余部分组织如下：第2节回顾了当前关于铁路检测的研究以及视觉定位算法在铁路领域的应用。第3节详细介绍了本研究中提出的两阶段视觉定位方法的原理和方法论。第4节描述了实验过程并展示了相应的结果。最后，第5节总结了本工作的关键贡献，并概述了未来研究的潜在方向。
相关研究
铁路检测
铁路检测的主要目标是及时识别和处理轨道上的安全隐患，并将相关数据传输到远程管理中心，以便专业人员采取后续行动，确保铁路运行的安全。在早期的检测实践中，整个过程完全依赖人工操作，检测人员需要准备纸质报告并手动记录隐患位置（Di Summa等人，2023年）。这种传统方法存在一些问题
铁路检测的两阶段视觉定位方法
铁路检测定位依赖于固定轨道的空间约束，其本质可以视为一维定位问题。在这种情况下，充分利用与位置信息相关的各种可测量信号可以显著提高铁路检测的定位精度（Heirich等人，2013年）。本节将详细解释两阶段定位策略：由特征驱动的初步区域定位
实验准备
为了全面评估本文提出的两阶段铁路检测视觉定位方法的有效性和准确性，在校园的高保真铁路模拟环境和上海的高速铁路线上进行了实验。如图6(1)所示，选定的校园实验路线包括开阔无障碍区域和由于建筑物和树木等障碍物导致卫星信号减弱的区域，旨在测试
结论
本文提出了一种用于铁路检测的两阶段视觉定位算法。通过构建轨道里程与轨道旁“远近”视觉特征之间的映射库，并引入NetVLAD特征聚合机制来增强场景区分度，所提出的方法有效缓解了视觉相似环境中的特征混淆问题。在此基础上，结合图像检索和极线几何约束的协作定位框架
李培刚：撰写——审稿与编辑、资源管理、方法论、调查、资金获取、概念化。
刘泽轩：撰写——初稿编写、验证、软件开发、方法论、调查、数据管理。
张青：撰写——审稿与编辑、方法论。
张志鹏：撰写——审稿与编辑、调查。
王璐：撰写——审稿与编辑、验证、方法论、调查。
李静琪：撰写——审稿与编辑、资源管理。
资助
本工作得到了国家自然科学基金（项目编号：51608317）和中老铁路工程国际联合实验室（项目编号：21210750300）的支持。
利益冲突声明
作者之间不存在利益冲突。
