《International Journal of Industrial Ergonomics》：Towards accurate prediction of drivers’ mental workload during continuous driving tasks with multimodal measures and machine learning regression models
编辑推荐：
本研究通过机器学习回归模型，利用多模态生理信号（EEG、ECG、EDA、眼动追踪）和驾驶性能数据，评估连续驾驶中驾驶员心理负荷（MWL）的预测效果。结果表明，整合四类生理信号和驾驶性能的Gaussian过程回归模型最佳，R2达76%，同时考虑时间变化和驾驶性能能有效提升预测精度。
季玉晨|黄玉勇|王铁岩|张启亮|张婷如|陶大
深圳大学机电控制工程学院人因工程与人体工程学研究所，中国深圳
摘要
连续驾驶可能导致精神负荷过重，从而增加交通事故的风险。准确预测驾驶员的精神负荷（MWL）对于确保道路安全至关重要，但这面临相当大的挑战。本研究旨在探讨机器学习回归模型在连续驾驶过程中基于多模态生理指标预测驾驶员MWL的准确性，并检验特定生理指标及其组合在预测性能中的有效性。我们还研究了通过纳入驾驶表现指标以及考虑这些指标的时间变化来提高预测性能的效果。实验采用了双任务驾驶方式，参与者需要执行长期连续的驾驶任务。在任务执行过程中，持续记录了他们的生理信号（即脑电图EEG、心电图ECG、皮肤电活动EDA和眼动追踪数据）。开发了一系列单模态、双模态和多模态的MWL回归预测模型进行比较。结果表明，结合四种生理指标和驾驶表现的高斯过程回归模型取得了最佳性能，R2值为76%，说明76%的MWL变化可以得到解释。然而，不同模态的融合并不总是能均匀提高模型准确性。特别是在融合四种或更多模态的情况下，由于特征的时间变化，模型性能有所提升。这些发现为智能驾驶系统中实时MWL监测的准确预测模型和多模态融合策略的开发提供了见解。
引言
道路安全长期以来一直被视为一个重要的公共问题，因为道路交通事故是全球主要的死亡原因之一。世界卫生组织2023年的全球道路安全报告显示，2021年全球约有119万人死于道路交通事故（WHO，2023年）。近年来，中国每年发生超过20万起交通事故。2021年，交通事故造成的死亡人数超过6.2万人，另有28.1万人受伤。据报道，90%以上的交通事故可归因于人为因素，其中驾驶员的精神负荷（MWL）一直被认为是主要因素之一（Bengler等人，2014年；Dijksterhuis等人，2011年），MWL指的是保持驾驶任务在主观安全范围内的努力（Boer，2001年）。长时间驾驶可能导致精神负荷过重，损害驾驶员的决策和控制能力，进而增加交通事故的风险。研究表明，精神负荷过重可能占全球每年交通事故的21%（Vivoli等人，2006年）。驾驶是一项高度动态的任务，驾驶员需要在不断变化的环境中处理大量视觉和听觉信息，并与驾驶系统持续互动，这需要大量的心理资源来维持良好的驾驶表现（Sivak，1996年）。例如，驾驶员需要保持适当的情境意识，能够管理干扰，在关键时刻迅速做出决策以避免碰撞。因此，驾驶不仅是一项需要操作方向盘和油门踏板的体力活动，也是一项对心理要求很高的活动。因此，在长期驾驶场景中，MWL可能是驾驶任务的自然结果。
随着汽车技术的进步，车辆配备各种车载信息系统已成为常态，包括车载信息和娱乐系统以及智能驾驶系统（Neuhuber等人，2022年；Zhang等人，2023年）。然而，提供的信息越多，可能带来的MWL也越多，这对驾驶安全构成了新的挑战。当MWL过高或过低时，驾驶员可能会出现反应迟缓、错误增多和表现不佳的情况（Ma等人，2014年）。驾驶过程中经常出现精神负荷过重的现象，这可能会降低驾驶性能并增加交通事故的风险（Butmee等人，2019年）。然而，MWL是一个本质上是多维的概念，长期以来被认为难以评估。目前，可以通过多种方式评估MWL，如主观测量、表现测量和生理测量，其中生理测量在连续、准确和可靠地评估MWL方面显示出潜力（Tao等人，2019年）。尽管已经评估了多种生理指标（如脑电图EEG、眼动追踪ET信号、心电图ECG和皮肤电活动EDA信号）与MWL的关联，但最近的综述一致表明，没有一种生理指标在所有任务场景和个体差异中都具有普遍的有效性（Charles和Nixon，2019年）。这可能是因为每种生理指标只能反映个体MWL变化的一部分。结合多种类型的生理指标可能是解决这些限制的有效方法，从而从多个角度反映MWL的变化，进行更全面的评估。因此，越来越多地引入机器学习算法来构建智能模型，这些模型可以整合来自多种生理信号的信息，提供更可靠和准确的负荷预测（Debie等人，2021年）。先前的研究应用了各种机器学习算法基于生理信号评估驾驶员的MWL（Cardone等人，2022年；Ding等人，2020年；Safari等人，2024年）。各种类别的机器学习算法对模型性能有不同影响（Cardone等人，2022年）。总体而言，大多数先前的评估模型研究了二元或三元MWL分类任务，准确率在73.1%到89.5%之间（Cardone等人，2022年；Ding等人，2020年；Safari等人，2024年）。
尽管在基于生理的MWL评估方面取得了显著进展，但目前的研究仍存在几个关键限制。首先，以往的研究大多开发了只能将MWL分类为几个有限、离散级别的二元或三元分类模型（例如，低、中和高级别）（Cardone等人，2022年；Ding等人，2020年；Safari等人，2024年；Tjolleng等人，2017年）。这些模型可能无法捕捉到现实世界任务中MWL的细微和连续性，因此在需要精确监测和适应性干预的复杂现实场景中适用性有限。为了解决这一限制，越来越需要开发基于回归的模型，以实现MWL水平的连续估计。其次，以往的研究大多基于短期、横断面的实验数据开发评估模型，忽略了MWL的时间变化。然而，由于疲劳、适应性和任务熟悉度等因素，MWL以及MWL与生理信号之间的关系可能会随时间变化（Yang等人，2021年；Tao等人，2026年）。基于横断面数据集训练的模型不太可能捕捉到这些时间变化，导致在长期连续任务背景下评估性能较差（Yang等人，2021年）。最后，不同生理指标（如EEG、ET、ECG和EDA）在MWL评估中的具体作用和相对贡献仍不清楚。缺乏对多模态生理数据融合作用的系统理解和比较进一步阻碍了当前评估方法的通用性和稳健性（Lohani等人，2019年）。解决这些限制对于实现更动态、准确和自适应的驾驶系统的实时MWL估计至关重要。
因此，本研究旨在探索使用多模态生理指标基于机器学习回归模型进行准确MWL预测的可行性，并检验特定生理指标及其组合在预测性能中的有效性。此外，我们还研究了通过考虑时间变化和纳入驾驶表现（DP）指标来提高模型性能的效果，这些指标已被证明与驾驶员的MWL相关（Huang等人，2024年）。具体来说，基于长期连续驾驶任务实验，持续记录了驾驶员的生理信号（即EEG、ET、ECG和EDA）和DP指标。开发了一系列单模态、双模态和多模态的MWL回归模型进行比较。本研究的结果有助于推进准确的MWL建模，并为智能驾驶系统中实时MWL监测的发展提供更好的基础。
部分摘录
使用多模态指标评估MWL
生理指标（EEG、ET、ECG和EDA）被广泛用于评估驾驶员的MWL，因为MWL的变化也会导致人体相应生理活动的变化（Cardone等人，2022年；Huang等人，2024年；Tao等人，2025年）。例如，由于其高时间分辨率和便携性的独特优势，EEG在最近的MWL评估研究中得到了广泛应用。在多属性任务中，θ和β波段的功率有显著差异
参与者
共有24名男性参与者（平均年龄=24.5岁，标准差=2.3岁）参与了实验。仅招募男性参与者，因为他们更容易佩戴EEG和ECG设备以获得更好的信号采集效果。所有参与者都持有有效的驾驶执照，并且至少有一年的驾驶经验（平均驾驶经验=2.6年，标准差=1.3年）。参与者均未报告有任何神经系统疾病、心脏病或其他医疗禁忌症的历史。
指标的ANOVA结果
随着任务难度的增加，NASA-TLX得分显著上升（F(2, 46) = 23.690，p < 0.001），而平均速度（F(2, 46) = 0.500，p = 0.011），油门开度标准差（F(1.60, 36.74) = 10.151，p = 0.001），转向输入（F(1.35, 31.00) = 5.865，p = 0.014）以及车道中心偏移量（F(2, 46) = 7.730，p = 0.001）逐渐下降（表2）。在EEG指标中，任务难度仅显著影响了δ波段的功率，在中等难度任务下观察到更高的δ波段功率
讨论
准确评估驾驶员的MWL对于驾驶安全至关重要，因为精神负荷过重可能是连续驾驶环境中交通事故的主要原因之一（Bengler等人，2014年；Dijksterhuis等人，2011年）。本研究探讨了使用基于机器学习的回归模型结合多模态生理指标进行准确MWL评估的可行性，并检验了特定生理指标及其组合在评估中的有效性
结论
驾驶是一项认知要求高且动态性强的活动，连续操作可能导致精神负荷过重，从而增加事故风险。本研究调查了使用多模态生理信号和驾驶表现通过机器学习回归模型连续预测驾驶员精神负荷（MWL）的可行性，并评估了时间特征对模型性能的影响。结果表明，ET特征在单模态模型中有效，而最佳模型
CRediT作者贡献声明
季玉晨：写作——审稿与编辑，撰写初稿，可视化，形式分析，数据管理。黄玉勇：调查，形式分析，数据管理。王铁岩：写作——审稿与编辑，监督，方法论，概念化。张启亮：方法论，调查，数据管理。张婷如：写作——审稿与编辑，资金筹集，概念化。陶大：写作——审稿与编辑，验证，项目管理，方法论，资金
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
资金致谢
本工作部分得到了国家自然科学基金（资助编号：32271130）、广东省自然科学基金（资助编号：2024B1515020007）以及深圳市科技创新委员会基金（资助编号：20231122105927001、JCYJ20230808105219038、JCYJ20250604182022029和JCYJ20241202124304007）的支持。
