《Neurocomputing》：Semi-supervised driving style recognition via deep metric learning and liquid time-constant networks
编辑推荐：
驾驶风格识别研究提出融合超维计算(HDC)、液态时间常数长短期记忆(LTC-LSTM)网络及半监督学习的框架，解决有限标注数据、过拟合和特征表征不足问题。实验表明该方法在Motorway和Secondary Road场景下准确率达94.95%和99.08%，优于现有模型。
江尚武|王如晨|丁仁凯|叶青|蔡英峰
江苏大学汽车与交通工程学院，中国江苏省镇江市212013
摘要
驾驶风格识别是一项具有重大意义的任务，对交通安全和燃油效率有着重要影响。然而，包括标记数据有限、过拟合和特征表示不足在内的关键挑战阻碍了现有模型的性能。本文通过提出一个结合超维度计算（HDC）、液态时间恒定长短期记忆（LTC-LSTM）网络和半监督学习方法的新框架来解决这些问题。LTC-LSTM网络利用自适应时间常数来捕捉动态的时间依赖性，提供强大的特征表示，并在多种驾驶环境中提高泛化能力。此外，深度度量学习和伪标记的集成增强了数据利用效率，即使在标记样本有限的情况下也能实现准确的分类。在UAH-DriveSet数据集上进行的实验证明了我们方法的优越性。我们提出的方法在高速公路和次要道路场景中无论是监督学习还是半监督学习都取得了显著的准确性提升。这项工作强调了结合先进神经架构和半监督策略在实现鲁棒和高效驾驶风格识别方面的潜力。
引言
驾驶风格识别已成为一个关键的研究领域，对道路安全、能源效率和智能交通系统具有深远的影响。攻击性或注意力不集中的驾驶行为，如疲劳和分心，是全球25-30%驾驶相关死亡事故的主要原因[15]。这些行为不仅危及生命，还会造成巨大的经济损失，因此需要强大的监控和分类系统。除了安全性之外，驾驶风格还直接影响能源消耗；研究表明，与激进驾驶模式相比，平静的驾驶行为可以减少高达20%的燃油使用量，这突显了风格识别在优化节能驾驶策略中的作用[35]。
移动技术、可穿戴设备和机器学习的进步使得对驾驶行为进行分类成为可能，为个性化驾驶辅助系统和自适应车辆控制机制铺平了道路。现有的最先进方法通常依赖于监督学习范式，如支持向量机（SVM）[35]和长短期记忆（LSTM）[20]来建模驾驶序列中的时间依赖性，而卷积神经网络（CNN）[3]则从传感器数据中提取空间模式。然而，这些方法依赖于大型标记数据集，这在实际应用中既昂贵又难以获得。
为了克服这一限制，最近的研究集中在半监督学习（SSL）技术上，这些技术利用少量的标记数据和大量的未标记数据来提高模型的泛化能力。例如，传统的SVM模型在结合未标记数据时显示出显著的改进[35]，而其他方法[21]、[29]则旨在减少对标记数据的依赖。此外，还开发了成本敏感的训练和特征增强技术[7]、[14]来应对类别不平衡问题，并在数据量少的情况下提高识别性能，这凸显了SSL在驾驶风格分类中的潜力。
我们总结了当前最先进的驾驶风格分类模型面临的以下三个挑战：
- •
挑战1 – 标记样本数量有限：数据集中标记样本的数量有限是限制模型性能的重要因素[7]。有限的标记样本无法完全覆盖各种驾驶风格，使得模型在面对多样化的驾驶行为时难以做出准确分类。此外，特征表示不足阻止了模型捕捉定义不同驾驶风格所需的细微特征，如加速度变化、转向角度和变道行为[1]。
- •
计算效率低：许多现有的驾驶风格分类模型依赖于深度序列架构，如长短期记忆（LSTM）网络和基于Transformer的模型[10]、[25]、[30]、[33]、[41]，来捕捉车辆动态中的时间依赖性。尽管这些模型提供了强大的表示能力，但它们通常会带来相当大的计算开销，尤其是在处理长时间序列数据或资源受限的部署时。LSTM[25]、[30]、[41]需要顺序状态更新，随着序列长度的增加而增加延迟，而基于Transformer的方法[10]、[33]依赖于自注意力机制，具有二次复杂性和高维投影，导致大量的内存和计算成本。因此，尽管最近在高效的Transformer变体方面取得了进展，但在实时或边缘级别的驾驶行为识别中的实际应用仍然具有挑战性，这促使人们探索具有更好准确性-效率权衡的替代时间建模方法。
- •
过拟合和泛化能力弱：过参数化的模型，如Transformer和LSTM，会导致过拟合问题，即模型在训练数据上表现良好，但在处理未见数据或不同驾驶条件时性能显著下降。随之而来的问题是训练模型的泛化能力不足。这些缺点限制了模型理解和分类复杂驾驶行为的能力，迫切需要改进数据扩展、特征工程和模型正则化，以提高驾驶风格分类的准确性和鲁棒性。
在本文中，我们提出了一个在数据量少情况下准确且成本效益高的驾驶风格识别新框架。该框架结合了三个方面的优势：1. 受生物学启发的计算方法（包括超维度计算[7]、[25]和液态时间恒定模型[11]），2. 基于深度度量学习的嵌入增强，以及3. 基于伪标记的半监督学习。
首先，现有的模型，如LSTM[20]和SVM[7]、[35]，在处理不规则时间间隔和变化驾驶条件时经常遇到过拟合和特征表示不足的问题。这是因为这些模型无法捕捉驾驶行为中固有的复杂时间依赖性。为了解决这些限制，我们提出了LTC-LSTM模型，该模型将液态时间恒定（LTC）单元与LSTM网络集成在一起。LTC网络作为神经网络的一项重要进展[5]、[8]、[9]、[19]，能够动态适应时间变化的数据，从而在数据模式波动的环境中提高性能。我们提出的LTC-LSTM模型利用自适应时间常数来动态调整输入数据，使其能够更有效地捕捉短期和长期的时间模式。这种适应性不仅减轻了过拟合问题，还增强了模型在多种驾驶环境中的泛化能力。
其次，特征表示不足限制了模型区分驾驶模式细微变化的能力。为了解决这个问题，我们引入了基于度量学习的嵌入增强[16]，该方法使用三元组边际损失来结构化特征嵌入空间。这种方法确保相似的驾驶风格在嵌入空间中位置接近，而不同的风格则被清晰区分。优化特征空间增强了模型的判别能力，即使在标记样本稀缺的情况下也是如此。同时，所提出的度量学习方案不仅丰富了特征表示，还提高了模型对驾驶数据变化的鲁棒性。
第三，标记驾驶数据的稀缺性对训练有效的驾驶风格识别模型构成了重大障碍。为了解决这个问题，我们提出了一个利用伪标记[17]、[31]的半监督学习框架，以利用丰富的未标记数据。通过迭代地为高置信度的未标记样本分配伪标记，模型可以扩展其训练集并提高泛化能力。这种方法不仅减少了对昂贵标记数据的依赖，还增强了模型适应不同驾驶条件的能力。此外，它支持持续学习，使模型能够随着时间的推移适应不断变化的驾驶行为，进一步提高了其在实际应用中的适用性。
本工作的贡献可以总结如下：
•改进的序列建模模型：我们提出了LTC-LSTM架构来解决驾驶风格识别中的过拟合和计算效率挑战。HDC首先将原始传感器数据编码为抗噪声的高维表示，从而在有限的监督下提高特征的可分性。LTC模块通过自适应时间常数捕捉短期、时间变化的时间动态，而LSTM层聚合长期依赖性以产生稳定的序列级表示。这种分层设计使得时间建模更有效，并且与传统的基于LSTM的模型相比提高了参数效率。
•基于度量学习的嵌入增强：我们利用深度度量学习（DML）和三元组边际损失来增强特征嵌入表示。这种方法确保模型学习一个结构良好的嵌入空间，通过有效分离驾驶风格来提高分类准确性。
•半监督学习框架：为了克服标记数据有限的挑战，我们开发了一种基于伪标记[17]的半监督学习方法。这使得模型能够利用未标记数据来提高泛化和鲁棒性，在数据量少的情况下特别有效。
•评估结果：在UAH-DriveSet数据集[23]上的评估显示，在监督和半监督场景中都表现出了优越的性能。我们提出的方法在高速公路和次要道路场景上的准确率分别达到了94.95%和99.08%，优于最先进的监督模型。当可用训练数据有限时，所提出的模型也超过了半监督基线SSTPVM[7]。结果突显了该方法在处理多样化驾驶环境中的鲁棒性及其在智能交通系统中的实际应用潜力。
本工作的其余部分组织如下。第2节简要回顾了现有的驾驶风格识别方法、基于度量学习的数据增强和LTC模型。第3节介绍了所提出的算法，特别是新的半监督分类模型。第4节展示了在公共驾驶风格数据上的评估结果和分析。最后，我们在第5节总结了本文并讨论了一些有趣的研究方向。
章节片段
驾驶风格分类的学习方法
驾驶风格分类已经使用了多种机器学习范式进行了广泛研究，通常分为监督学习、半监督学习和无监督学习方法。每种范式都有其独特的优势和挑战，这将在以下部分中进行探讨。
概述
图1展示了所提出的半监督学习框架的总体架构，该框架整合了HDC、液态时间恒定长短期记忆（LTC-LSTM）和深度度量学习。流程从标记和未标记的驾驶传感器数据序列开始
，这些数据序列使用HDC编码转换为高维编码特征
，然后将标记和未标记的HDC特征输入到所提出的半监督框架中。我们工作的三个主要贡献包括：
•
数据集规格
为了评估所提出的液态时间恒定（LTC）模型捕捉驾驶行为模式的有效性，我们使用了UAH-DriveSet数据集[23]，这是一个专门为驾驶行为分析设计的公开可用资源。UAH-DriveSet提供了跨越各种道路类型和驾驶场景的全面多传感器数据。如表1所示，它包含了大约500分钟的驾驶数据，涵盖了高速公路和次要道路的会话
结论
驾驶风格识别在提高道路安全和实现智能交通系统中起着关键作用。然而，由于标记数据的有限可用性和车辆动态中的时间依赖性复杂性，准确分类驾驶行为仍然具有挑战性。在这项研究中，我们提出了一个半监督框架，该框架整合了液态时间恒定长短期记忆（LTC-LSTM）网络、深度度量学习和超维度计算（HDC）
CRediT作者贡献声明
江尚武：撰写——原始草稿、验证、软件、方法论、调查、数据管理、概念化。王如晨：撰写——审阅与编辑、资源。丁仁凯：形式分析。叶青：资金获取。蔡英峰：撰写——审阅与编辑、监督。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争财务利益或个人关系。
江尚武毕业于中国成都的西南交通大学，获得交通工程学士学位。他目前正在江苏大学汽车与交通工程学院攻读博士学位。他的研究兴趣包括深度学习和自动驾驶车辆轨迹规划，重点是基于深度学习的车辆驾驶风格识别。
