《Future Generation Computer Systems》：TAERM: Traffic accident emergency response management framework for detection and classification using IoT and YOLOv9
编辑推荐：
交通事故应急响应管理框架（TAERM）基于物联网、云计算和AI技术，利用YOLOv9模型实现实时事故检测与分类（正常、轻微、中等、严重）。通过4000张多源标注图像验证，该框架在准确率（0.951）、F1-score（0.81）等指标上优于YOLOv8、CNN及Vision Transformer方法，并成功通知应急部门事故位置、类型及视频证据，以缩短黄金救援时间。
阿伊曼·努尔（Ayman Noor）|哈南·阿尔穆卡夫菲（Hanan Almukhalfi）|塔拉勒·H·努尔（Talal H. Noor）|拉吉夫·兰詹（Rajiv Ranjan）
沙特阿拉伯麦地那泰巴大学（Taibah University）计算机科学与工程学院计算机科学系，邮编42353
摘要
由于超速行驶、酒后驾驶或两者兼有，以及道路设施不达标，交通事故变得越来越频繁和严重。如果不能立即提供救治，死亡人数将会增加。然而，当前的交通管理系统无法提供实时的事故检测或交通违规数据，也无法存储各种事故信息。在本文中，我们提出了一个基于物联网（IoT）、云计算和人工智能（AI）的交通事故应急响应管理框架（TAERM），用于分析交通数据并实时检测事故。我们使用“You Only Look Once”（YOLO）v9模型来检测事故并对其进行分类（包括四种类型：正常交通、轻微事故、中等事故和严重事故）。一旦检测到事故，TAERM系统将向相关紧急服务提供者（如警察、救护车等）发送所有必要的信息，以便迅速采取行动，从而减少死亡人数。为了评估TAERM的有效性，我们从不同来源收集并手动标记了4000张交通事故图片，涵盖了从正常交通到轻微、中等和严重事故的各种情况，并进行了多次实验。这些实验旨在验证TAERM在现实世界条件下的有效性，并将所提出的模型YOLOv9的性能与YOLOv8进行对比。此外，我们还比较了YOLO模型与其他方法（包括卷积神经网络（CNN）（MobileNet-Single Shot Detector (SSD)）和实时检测变换器（RT-DETR）- 视觉变换器（RT-DETR-Vision Transformer））。实验结果令人鼓舞，YOLOv9在准确率、精确度、召回率和F1分数方面的平均成绩分别为0.951、1.0和0.81。
引言
近年来，导致死亡和残疾的道路事故呈上升趋势，这令人担忧。造成这一现象的因素包括全球人口的增长和人均收入的增加，从而导致车辆拥有量和交通密度的增加[1]。与道路相关的事故死亡率急剧上升，其原因包括交通拥堵、超速行驶、不负责任的驾驶和酒驾、驾驶员疲劳、道路基础设施差以及道路上的动物等。世界卫生组织（WHO）报告称，全球所有死亡人数中与道路事故相关的比例增加了2.2%[2]。遗憾的是，据估计每年有135万人在交通事故中丧生[3]。
导致上述后果的最关键因素之一是事故发生后在获得紧急医疗援助之前所浪费的时间。“黄金时间原则”[4]指出，对于创伤性伤害来说，黄金时间内的医疗和手术干预至关重要。据观察，可以将紧急医疗服务响应所需的时间缩短三分之一[5]。令人震惊的是，在低收入和中等收入国家，患者在到达医院之前因伤死亡的比例是高收入国家的两倍多[1]、[3]。最近，信息和通信技术（ICT），特别是物联网（IoT），被用来加快事故响应时间[6]。物联网指的是连接到互联网的智能设备网络，包括嵌入式处理器、智能手机、计算机、智能传感器和执行器。通过将任何物理设备连接到中央控制服务器，物联网已成为跟踪和管理智能汽车的有前景的平台[7]。
尽管已经有很多研究致力于改进事故严重程度评估、事故后响应时间和事故检测准确性[8]、[9]，但现有系统经常存在缺陷。这些系统通常价格昂贵，且主要适用于高端车辆。此外，它们在事故类型分类（如碰撞、翻车或掉落事件）方面往往不足。紧急响应人员仅通过通知他们事故的发生，很难为受害者提供适当的支持和医疗救助。了解事故的类型可以提供关于车辆损坏和涉事人员受伤情况的重要信息[10]。
车辆事故是一个严重影响公共安全和社会经济的关键问题。快速准确地检测和分类此类事件对于及时部署紧急服务、事故调查和改善道路安全至关重要。近年来，在计算机视觉、机器学习（ML）和其他传感器技术的帮助下，车辆事故检测与分类（VADC）研究领域取得了显著进展。
在本文中，我们深入探讨了VADC，并回顾了解决相关问题的方法和新方法。我们还介绍了一个能够在实时场景中高效工作、自动识别、定位和分类不同类型车辆事故的系统。
可以通过多种数据源（如基于物联网的监控（CCTV）摄像机的视频和图像）准确检测事故。融合这些输入并从中提取有用信息是一个具有挑战性的问题，需要计算机视觉、信号处理和机器学习的方法。此外，我们收集并标记了4000张不同交通类别的图像数据集，包括正常交通、轻微事故、中等事故和严重事故。我们还使用这些数据训练了我们的检测和分类模型。分类还可以通过识别情况的严重程度和事故的性质来进一步分析事故数据。这有助于优先安排响应工作，并为分析和事故预防提供重要信息。VADC还有广泛的应用前景，从实时通知系统到提醒紧急服务，再到智能交通管理系统（ITMS），以改善交通管理和道路安全。
在本文中，我们探讨了推动VADC领域发展的前沿策略、方法和技术进步。我们还对YOLOv9和YOLOv8进行了关键比较，以评估和对比它们的成果。以下是这项工作的重要贡献总结：
•我们提出了一个新颖的分层框架，即交通事故应急响应管理
（TAERM）框架，该框架可以利用物联网（IoT）技术和YOLOv9模型来检测和分类交通事故。
•根据损坏程度，TAERM能够识别并将典型的交通事故分为三类：轻微、中等和严重。此外，根据分类的结果，TAERM会向指定的紧急服务（如交通控制警察、保险服务、救护车和民防部门）发出警报并提供详细信息（如事故地点和视频片段）。
•为了证明TAERM的可行性，我们收集并标记了4000张不同交通类别的图像，包括轻微、中等和严重事故；以及正常交通。
•使用我们的数据集，我们全面评估了YOLOv9模型的性能，并将其结果与YOLOv8进行了对比。我们证明了YOLOv9模型在大多数指标上均表现出最佳性能，优于文献中报道的其他方法，包括CNN（MobileNet-SSD）和RT-DETR-Vision Transformer。
本文的其余部分安排如下：第2节讨论了该领域的相关研究；第3节解释了我们提出的TAERM框架的架构；第4节详细介绍了用于事故检测的YOLOv9模型；第5节描述了实验的实现和设置；第6节分析和讨论了结果；第7节总结了本文并讨论了未来可能的研究方向。
相关研究
交通管理系统（ITMS）的进步对于提高道路安全和减少交通事故的频率和影响至关重要。因此，自动化的VADC是利用计算机视觉和深度学习（DL）能力的关键组成部分。本节概述了相关文献，追溯了交通事故检测和分类方法的发展历程，从最初的基于规则的系统到现代复杂的卷积神经网络（CNN）的应用
交通事故应急响应管理（TAERM）框架
我们提出了交通事故应急响应管理（TAERM）系统。TAERM系统是一个多层系统，利用YOLOv9实时检测和分类交通事故。TAERM整合了物联网设备、云计算架构和人工智能（AI），用于收集、处理和解释交通信息。我们将在下一章更详细地分析TAERM系统的每个组成部分。图1展示了TAERM的总体架构
YOLOv9模型
Redmon等人[28]指出，“You Only Look Once”（YOLO）范式受到了人类视觉系统快速物体检测能力的启发。该模型的处理阶段具有类似的结构，借鉴了人类感知的原理。YOLO模型在计算机视觉研究领域广受欢迎，最初由Ultralytics开发。Redmon等人[28]开发了YOLO的第一个版本，随后Joseph和Ali对其进行了改进，产生了YOLOv2
实现和实验设置
TAERM作为一个集成管道实现，包括云计算平台、基于深度学习的事故检测和基于严重程度的响应逻辑。TAERM的所有模块作为一个完整的管道一起部署和测试，报告的性能反映了系统的整体表现。本节阐明了实验设置、使用的数据集、评估指标以及TAERM的性能结果。这些实验旨在验证YOLOv9模型性能评估
使用YOLOv9模型对车辆事故进行分类后，效果有所不同。如图7中的混淆矩阵所示，“严重”和“轻微”事故的检测率分别为0.93和0.91，表明该模型能够识别事故严重程度的极端情况。
YOLOv9模型在0.445的置信阈值下获得了0.81的F1分数，表明在精确度和召回率之间取得了良好的平衡
结论与未来工作
我们使用YOLOv8和YOLOv9深度学习模型对车辆事故进行检测和分类的研究取得了有希望的结果，特别是在识别严重和轻微交通事故方面表现出高精确度和召回率。通过使用从多个来源精心策划的数据集（使用网络爬虫确保对现实世界条件的准确表示），并利用Colab和Roboflow进行开发和预处理，本研究展示了
CRediT作者贡献声明
阿伊曼·努尔（Ayman Noor）：撰写——原始草稿、验证、资源获取、项目管理、方法论、调查、正式分析、数据整理、概念化。哈南·阿尔穆卡夫菲（Hanan Almukhalfi）：可视化、验证、软件开发、资源获取、数据整理。塔拉勒·H·努尔（Talal H. Noor）：撰写——审阅与编辑、监督、资源获取、项目管理、资金获取。拉吉夫·兰詹（Rajiv Ranjan）：撰写——审阅与编辑、监督。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
阿伊曼·努尔（Ayman Noor）是沙特阿拉伯麦地那泰巴大学计算机科学系的副教授。努尔博士目前担任计算机科学系主任。他的研究兴趣包括云计算、性能监控、物联网、人工智能和区块链。努尔博士于2021年从英国纽卡斯尔大学计算机科学学院获得博士学位，并在Gannon大学获得了计算机与信息科学硕士学位
