轻量级多任务“You Only Look Once”模型，用于铁路环境中的全景感知

《Engineering Applications of Artificial Intelligence》：Lightweight multi-task You Only Look Once model for panoptic perception in railroad environment

本文提出A-RailYOLOM轻量级多任务模型，通过迁移学习将YOLO框架适配铁路场景，同时实现车辆/行人/信号牌检测和轨道/支柱语义分割。在RailSem19数据集上检测召回率达82.7%，分割IOU达90.7%。跨领域测试显示模型对环境变化鲁棒，适用于边缘设备部署。

　　

Dorsaf Sebai|Donia Manai

晶体实验室，突尼斯马努巴大学（ENSI）国家计算机科学学院

摘要

本文提出了一种专为铁路环境中的全景感知设计的轻量级实时多任务模型。通过利用迁移学习，我们将原本为汽车场景设计的“You Only Look Once”多任务模型进行适配，使其能够同时执行对象检测和铁路特定元素的语义分割。我们的模型在RailSem19数据集上进行了微调，以检测车辆、行人、标志和信号，并对结构组件（如铁轨、轨道和杆柱）进行分割。为了评估其泛化能力，我们进行了领域内和领域外的实验。在RailSem19数据集上的领域内评估显示，该模型在检测和分割方面表现优异，车辆检测的召回率达到了82.7%，轨道检测的 Intersection over Union 值高达90.7%。在从突尼斯国家铁路公司收集的新数据集上进行的领域外测试显示，尽管存在一定的性能差距，但仍证实了模型对领域变化的鲁棒性。实验还展示了所提出模型在真实铁路场景中部署在边缘设备上的潜力。

章节摘录

用于全景感知的嵌入式视觉

随着深度学习技术的迅速发展，嵌入式全景视觉已成为在计算资源有限的环境中实现智能感知的一项关键技术。全景感知是一种结合了对象检测和语义分割的统一方法，使得这些系统不仅能够识别单个对象，还能理解场景的整体布局和结构。

相关工作

我们回顾了铁路领域内关于检测和分割任务的先前研究。现有方法大致可以分为两类：一类依赖于传统的手工特征（Arastounia, 2015; Kaleli and Akgul, 2009; Nassu and Ukai, 2011; Qi et al., 2013; Rodriguez et al., 2012; Teng et al., 2016; Yang and Fang, 2014; Sebai and Shah, 2023; Sebai et al., 2024），另一类则利用深度学习技术。在本节中，我们重点介绍后者。

提出的方法论

由于多任务学习模型在汽车领域已经得到了广泛研究，类似的方法也可以被应用于铁路领域以解决类似的问题。同样，分析其他领域（主要是汽车领域）开发或提出的方法，并通过适当调整将其应用于铁路领域特定的问题也是明智之举。

评估指标

为了评估为铁路环境适配的多任务模型的性能，我们使用了一组广泛用于对象检测和语义分割任务的指标。这些指标为评估模型在不同条件下检测和分割相关元素及周围基础设施的能力提供了定量依据。

结论

在这项工作中，我们提出了A-RailYOLOM，这是一种统一且轻量级的多任务模型，能够同时执行铁路环境中的对象检测和语义分割。所提出的架构通过迁移学习和在RailSem19数据集上的微调，将面向汽车的框架适应于铁路资产监控的特定挑战。实验结果证明了该模型在领域内和领域外的有效性。

CRediT作者贡献声明

Dorsaf Sebai：撰写 – 审稿与编辑，撰写 – 原始草案，验证，监督，方法论，数据整理。Donia Manai：软件，资源，数据整理，概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

致谢

本文的工作得到了突尼斯国家铁路公司（SNCFT）的支持。该项目由SNCFT在2024年1月17日由ENSI创新中心（National School of Computer Sciences, ENSI）组织的创业博览会上启动。