《Engineering Applications of Artificial Intelligence》：End-to-end railway obstacle detection enhanced by point cloud segmentation
编辑推荐：
铁路障碍检测框架融合LiDAR点云分割技术，通过深度学习提升轨道区域分割精度，结合背景差分与聚类算法实现高效障碍检测。实验表明，该方法在50米范围内对15cm立方体障碍物检测率达90%，有效抑制雨噪干扰（降噪率81.61%），0.8秒内完成16万点处理，误报率降低40%，并在实际铁路场景验证可行。
杨旭星|张博文|杨博宇|肖凯忠|涂小龙|李阳|王立伟|余思月|肖志敏
中国苏州江苏科技职业技术学院先进技术学院智能科学系
摘要
铁路运输是交通系统的重要组成部分。确保铁路运输安全的关键在于建立一个准确高效的铁路障碍物检测系统，该系统能够实时监测铁轨上的障碍物。得益于图像处理技术的发展，铁路障碍物检测现在利用彩色图像数据来识别障碍物。然而，在光线不足或恶劣天气条件下，这种方法可能会出现图像质量低的问题。近年来，光检测和测距传感器在铁路障碍物检测领域展现出了潜力。在本文中，我们提出了一种基于深度学习的点云分割模型的新型铁路障碍物检测框架。通过光检测和测距传感器收集高分辨率的铁路点云数据，每个点都会被分割模型赋予一个标签。基于这些点，生成铁轨区域，并将铁轨背景与实时点云进行比较，从而识别出不同的障碍物。大量实验证明了我们方法的优势，包括在50米范围内检测到边长为15厘米的立方体障碍物时，检测准确率可达90%；显著降低了对雨噪声的敏感度，去除了81.61%的雨噪声点；并且计算成本较低，仅用0.8秒即可完成160万个点的分割。我们的方法为铁路障碍物检测提供了新的基准。此外，该框架已在实际铁路场景中成功部署并验证，证明了其实用可行性和稳健的运行性能。
引言
高速铁路在全球经济增长中发挥了重要作用，其高效的客运能力和显著的时间节省效果尤为显著（Ahlfeldt和Feddersen，2017）。然而，铁路系统的中断可能会带来严重的后果，包括直接损坏和间接损失。近年来，学术界和实际应用领域都十分关注铁路安全问题（Qizhou等人，2021）。高速铁路的安全运行通常依赖于对自然灾害和人为事故的早期预警（Cheetham等人，2016）。尽管强风、暴雨、暴风雪、地震、地质灾害和雷电等自然灾害并不常见，但它们的影响可能非常严重，可能导致山体滑坡、桥梁倒塌等灾难性事件（Correia等人，2020）。例如，洪水和山体滑坡在许多地区频发，会严重干扰铁路运行，损坏基础设施，导致服务中断和延误。此外，行人或动物进入铁轨以及物体被抛到铁轨上等人为事故也会扰乱正常运营，通常会导致整条线路的延误（Aher和Tiwari，2018）。
近年来，光检测和测距（LiDAR）技术在铁路环境中的物体精确三维测量方面取得了显著进展。点云数据逐渐成为铁路轨道检测和重建的重要工具（Liu等人，2019）。基于点云的障碍物检测算法也得到了更深入的研究（Sun等人，2020；Wang等人，2021）。例如，Beger等人（2011）利用基于对象的图像分析从正射图像中提取铁路轨道轮廓，再结合空间和高程信息对激光点进行分类。随后应用随机样本一致性（RANSAC）算法（Fischler和Bolles，1981）从分类后的点中提取特征并估算轨道中心线位置。Arastounia和Mustafa（引自Arastounia2015automated）分析了点云的几何和空间信息以及点之间的拓扑关系，从而识别出所有关键的铁路基础设施组成部分。Wang等人（2015）使用安装在轨道检测列车上的校准相机拍摄正射照片，然后利用霍夫变换处理这些图像，最终根据边缘信息提取轨道轨迹。Nan等人（2024）设计了一种基于背景和前景点云融合的新型障碍物监测方法，能够在铁路区域稳定检测小型障碍物。目前商业领域广泛使用的铁路轨道点云异常监测方法是通过比较相邻前后帧点云的空间位置变化来检测影响列车行驶安全的障碍物。这种算法过程相对简单，但对点云变化的敏感度较高，但仍存在一些局限性，如易受环境因素（如雨雪等噪声）的影响，可能导致较高的误报率；同时，该算法严重依赖于对齐的准确性，如果对齐有误，可能会导致漏检或误检。此外，该算法缺乏对异常物体类别的特定识别能力，难以快速准确地定位和分类障碍物，从而限制了其在实际铁路安全监测中的应用效率。因此，本文的研究将致力于改进点云数据的特征提取和异常识别方法，优化算法的稳健性，提高监测的准确性和效率，以满足实际应用需求。
本文提出了一种结合点云分割技术的新型铁路障碍物检测框架，能够准确高效地检测和报警各种障碍物，确保铁路运输安全。该框架的模块及其对应功能包括：点云分割与轨道区域生成和铁路障碍物检测。第一个模块利用深度学习技术对点云数据进行分割并生成轨道区域，从而将轨道区域从铁路背景中分离出来，为后续任务提取相关特征。裁剪轨道区域的准确性对后续检测任务至关重要。图1展示了几种裁剪方法：(a) 手动裁剪；这种方法耗时且在新的铁路场景中需要调整；(b) 利用RGB语义分割算法对图像中的轨道区域进行分割，然后将其反投影到点云数据中；这种方法对相机和LiDAR的校准依赖性较强；(c) 一种点云分割方法用于裁剪轨道区域。为每个点预测标签后，提取轨道点并生成最小边界矩形。与之前的方法相比，我们的模块不需要外部数据，能够更快更自动地生成轨道区域。在第二个模块中，需要对分割出的轨道区域点进行预处理：体素降采样和异常值去除，以去除噪声和异常点。然后使用背景减除算法计算铁路背景与实时点云数据之间的差异，接着利用k-means等聚类算法对可能的障碍物进行分类和识别。经过大小和相对高度过滤后，需要通过IoU计算与先前点云数据检测到的障碍物进行比对，以判断这是新出现的障碍物还是稳定的障碍物。最后，新检测到的障碍物会触发对铁路安全的警报。
我们使用真实铁路场景的点云数据进行了大量实验，以评估所提框架的性能。这些实验评估了该框架在不同类型障碍物检测中的准确性和效率，同时也测试了其在雨天条件下的稳健性。实验结果表明，我们的方法在计算成本较低的情况下仍能保持高检测准确率。这意味着即使在复杂条件下，误报和漏报的情况也显著减少。主要贡献如下：
提出了一种基于深度学习的点云分割模块的端到端铁路障碍物检测框架，以提高检测准确率。
所提出的铁路障碍物检测方法专注于轨道区域，降低了计算成本，并使检测方法在复杂环境条件下更加稳健。
针对不同任务的评估表明，利用分割模型提供的先验场景信息，我们提出的铁路障碍物检测算法比传统的基于阈值调整的算法表现更好。
本文结构如下：第2节回顾了近年来关于铁路障碍物检测和点云分割的研究进展；第3节介绍了所提框架的总体框架及各模块的方法论；第4节讨论了评估过程并展示了实验结果；第5节总结了本文并提出了未来研究的方向。
点云分割
点云分割是指将点云数据划分为多个部分或类别，以便识别或区分点云数据中的不同表面和结构，使机器能够区分物体并理解环境之间的整体结构关系（Xiao等人，2024；Dong等人，2022）。随着机器对环境理解能力的显著提升，这一应用带来了革命性的变化。
提出的框架
本节介绍了我们提出的点云分割和障碍物检测框架，结合了数学公式。首先，LiDAR收集实时铁路场景的点云数据坐标；然后，点云分割模型根据监督学习预测每个点的标签；接着根据先验场景信息生成轨道区域；随后使用传统的比较算法进行进一步处理。
实验
本节首先介绍了铁路障碍物检测的数据集，然后提供了相应的实验参数和评估指标。后续的性能分析评估了我们的框架在检测不同类型障碍物以及恶劣天气条件下的稳健性。此外，还讨论了铁路障碍物检测中的一些失败案例及其改进措施。
结论
本文提出了一种新的铁路障碍物检测框架。该框架利用基于深度学习的点云分割技术显著提高了在不同铁路环境下的检测准确率和稳健性。通过一系列实验验证，我们的方法不仅在铁路障碍物检测方面明显优于传统算法，而且能够检测到30米范围内的各种大小障碍物。
CRediT作者贡献声明
杨旭星：撰写——原始草稿、验证、软件开发、方法论设计。张博文：软件开发、调查、数据整理。杨博宇：软件开发、方法论设计、数据整理。肖凯忠：验证、方法论设计、数据整理。涂小龙：验证、软件开发。李阳：资源获取、概念构思。王立伟：资源获取、概念构思。余思月：撰写——审稿与编辑、项目管理、方法论设计、数据整理。肖志敏：撰写——审稿与编辑、监督。
利益冲突声明
作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究结果。
