编辑推荐：
联邦学习在驾驶员行为监控中的应用及优化研究，提出FedCAPS框架通过混合专家模型和车辆选择算法解决数据异质性和隐私问题，实验表明其准确率较现有方法提升44.43%和28.25%。
Akshay Singh | Rahul Thakur
计算机科学与工程系，印度理工学院鲁尔基分校，鲁尔基，247667，北阿坎德邦，印度
摘要
尽管智能交通系统（ITS）在技术上取得了显著进展，但驾驶员行为监测（DAM）仍然是预防道路事故的关键安全挑战。现有的深度学习解决方案在数据传输到中央系统时面临困难，这主要是由于数据量巨大和隐私问题日益突出。此外，由于数据多样性，现有的解决方案覆盖范围有限，需要更高效、更可靠的解决方案。为了解决这些问题，本文采用了联邦学习（FL）这一新型分布式深度学习框架，该框架允许客户端在不共享私人数据的情况下共同训练全局模型。然而，在每辆车都有自己分布式数据或局部数据存在异质性的情况下，这种联合模型可能并不理想。为此，我们提出了一种名为FedCAPS的新型个性化FL方法，该方法利用了专家混合技术。在FedCAPS中，客户端的个性化模型作为局部专家进行个性化知识提取，而共享模型则作为全局专家进行通用知识提取。一个门控网络被用来为每个数据样本从两个专家那里提取的特征生成个性化权重。此外，FedCAPS还利用客户端的统计信息来量化每个客户端在训练前的质量。我们在两个真实世界数据集上评估了FedCAPS的效果，即State Farm Distracted Driver Dataset（SFDDD）和Drive&Act Dataset。结果表明，FedCAPS的性能显著优于现有FL方法，在SFDDD上提高了44.43%，在Drive&Act数据集上提高了28.25%。
引言
下一代智能交通系统（ITS）的最新进展导致了公共车辆、私人车辆和运输车辆（包括自动驾驶车辆）数量的显著增加，以满足不断增长的出行需求。然而，这也带来了负面后果，如道路交通和拥堵加剧，导致事故、碰撞、受伤，甚至死亡[1]，[2]。根据世界卫生组织（WHO）2023年发布的《全球道路安全状况报告》，每分钟有超过两人死于交通事故，每日死亡人数超过3,200人[3]。这些事故的主要原因是驾驶员错误，如鲁莽驾驶、疲劳驾驶和分心驾驶[4]。这不仅对驾驶员构成风险，也对其他人（如行人）构成威胁。因此，一个能够分析不同驾驶行为的智能且可靠的解决方案将极大地有助于减少道路事故。
为了解决这个问题，捕获并分析驾驶员的行为信息非常重要。采用先进的通信技术，如车对一切（V2X）协议和边缘计算能力，可以实现实时数据处理和决策制定。现代车辆配备了各种传感器，包括高分辨率摄像头、激光雷达、雷达和超声波设备，可以生成大量数据，这些数据可用于各种人工智能（AI）和机器学习（ML）应用[5]。根据研究重点的不同，以往的研究主要集中在基于传感器的监测[6]、基于摄像头的监测[8]，或在集中式框架下结合这两种方法[9]。然而，随着对数据安全和用户隐私要求的提高，对大量通信和计算资源的需求使得集中式解决方案变得不可行[10]。在中央位置收集的驾驶员敏感数据可能会泄露用户隐私。此外，由于数据多样性，集中式方法无法涵盖更广泛的真实世界场景和边缘情况，从而导致驾驶员行为分析模型的偏差。最近，联邦学习（FL）作为一种解决方案应运而生，它允许各个分布式客户端在不泄露私人数据的情况下协同学习[11]。这种协作由中央服务器（CS）监督。在本地训练后，客户端仅将学到的更新共享给CS，CS将这些更新汇总起来构建下一次迭代的新的模型。因此，通过结合车辆互联网（IoV）和FL的能力，我们可以在保护隐私的同时利用车辆的分布式智能。这种方法为开发出强大且注重隐私保护的AI模型铺平了道路，从而提高IoV的效率、安全性和整体智能水平[12]。
尽管现有文献表明FL在包括ITS相关应用在内的各种应用中表现出色[13]，[14]，[15]，[16]，但基于FL的驾驶员行为监测（DAM）仍未得到充分探索。在这项工作中，我们利用FL来解决数据多样性和用户隐私问题。然而，基于FL的DAM存在一些固有的挑战。首先，存在无关紧要的客户端。如果某个客户端的共享更新对全局模型的性能产生负面影响，则认为该客户端是无关紧要的[17]。因此，评估单个客户端的私人数据质量对于满足中央服务器的学习目标非常重要。其次，现实世界中的挑战，如非独立同分布（Non-IID）数据和系统属性的多样性，导致了客户端的异质性。这种异质性可以是统计上的，例如总样本数量不等、类别不平衡或某些类别缺失。为了解决这个问题，现有研究通常通过引入各种近端项来减轻客户端数据异质性的影响，以限制局部更新对全局模型的影响[18]，[19]。真正的挑战在于个体驾驶员行为的多样性，这些行为受到个人偏好、技能和动机的影响。因此，许多当前的FL算法在不同非独立同分布（non-IID）设置下的性能提升并不稳定，尤其是对于视觉任务而言。随着自动驾驶车辆越来越多地与人类驾驶员共享道路，特别是在混合交通环境中，个性化驾驶系统以适应每位驾驶员的独特习惯变得至关重要，以实现无缝集成。
为了满足每辆车的个性化需求并解决DAM中由于统计异质性引起的挑战，我们提倡在联邦框架中使用个性化技术。在现有方法中，大多数方法通过基于参数的微调[20]、基于正则化的微调[21]和神经网络搜索[22]等技术来微调全局模型以获得个性化模型。我们提出了一种自适应的本地微调方法，并引入了额外的训练步骤，使用不同的超参数集来个性化全局模型[23]。最近，基于模型的个性化FL方法被广泛应用于元学习[24]、知识蒸馏（KD）[25]、[26]和聚类等领域。在[25]、[26]中，作者主要关注使用知识蒸馏将教师模型的知识传递给学生模型。然而，KD的效果受到教师模型质量的影响，如果蒸馏数据和教师训练数据不同，可能会出现差异。另一种方法[24]在本地更新期间采用元学习进行逐层特征转换，尽管这可能会增加计算成本。然而，没有研究考察过客户端非独立同分布（non-IID）性对整体性能的影响。
在这项工作中，我们提出了一种基于数据级别的个性化方法，该方法利用联邦学习（FL）和专家混合（MoE）的概念，即数据样本同时包含通用信息和个性化信息[27]。MoE的重要性不仅在于可扩展性，因为每个非独立同分布（non-IID）的客户端都可以被视为具有独特的数据特征。此外，在选择用于本地训练的客户端之前，我们考虑了每个客户端的非独立同分布程度。具体来说，我们提出了一种名为FedCAPS的新型个性化车辆选择算法，该算法利用联邦学习技术。目标是根据异质性程度选择一组最佳客户端，以便更好地适应和响应个性化信息，并具有类似的灵活性和准确性。在FedCAPS中，首先，服务器在每次迭代开始前选择异质性最低的客户端。然后，将初始全局模型（即全局专家）共享给每个选定的参与者，以提取通用信息。在客户端端，每个客户端的先前模型（即局部专家）包含一个门控网络，用于提取个性化信息。在本地训练期间，门控网络为每个数据样本生成个性化权重，结合了两个专家的通用和个性化特征。混合表示由本地模型的预测头处理，损失更新了专家混合（MoE）和头部。训练完成后，将小型特征提取器共享给服务器，以便在客户端模型之间共享知识。这项工作的新颖之处在于利用历史客户端模型作为局部专家，从而降低了计算成本。此外，在本地训练之前使用新的客户端选择机制进一步优化了这一过程。本文的主要贡献包括：
我们提出了一种新的个性化FL框架FedCAPS，不仅可以捕捉动态的个性化驾驶行为，还能选择最适合的车辆以实现更快的收敛。
FedCAPS开发了一种智能的车辆选择机制，该机制涉及计算每个车辆客户端的非独立同分布程度，并优化该值以选择非独立同分布程度最低的车辆。
为了满足每辆车的个性化需求，我们提出了一种基于专家混合的新框架，该框架利用每个客户端的歷史模型从本地数据集中提取可学习的特征。
为了证明FedCAPS在各种非独立同分布数据场景下监测驾驶员行为的有效性，我们在使用SFDDD数据集和Drive&Act数据集创建的分区上进行了广泛的实验。
本文的其余部分组织如下：第2节总结了关于DAM和FL的文献。第3节和第4节分别详细介绍了FedCAPS的方法论并进行了评估。最后，我们在第5节总结了工作并讨论了未来的研究方向。
章节片段
驾驶员行为监测
随着城市化的迅速发展和乘客车辆数量的增加，监测驾驶员行为对于确保安全变得至关重要。早期的方法侧重于使用智能手机传感器的低成本解决方案，但这些方法面临高电池消耗等挑战[28]，[29]。因此，建议并研究了将心电图（ECG）和脑电图（EEG）数据与心率作为关键特征集成到SVM模型中进行训练的方法[30]。
问题定义
使用FL进行驾驶员行为监测涉及在多个车辆客户端之间共享全局模型，而不共享本地数据。这种方法还有一个额外的好处，即可以在利用不同车辆的数据的同时保护数据隐私[11]。例如，假设有K个车辆客户端，每个客户端都有他们的本地数据集D_k
问题定义
使用FL进行驾驶员行为监测涉及在多个车辆客户端之间共享全局模型，而不共享本地数据。这种方法还有一个额外的好处，即可以在利用不同车辆的数据的同时保护数据隐私[11]。例如，假设有K个车辆客户端，每个客户端都有他们的本地数据集D_k
实验设置
我们在两个广泛使用的数据集上评估了FedCAPS，即State-Farm-Distracted-Driver-Detection数据集（SFDDD）和Drive&Act数据集（Drive&Act）。SFDDD包含由车内摄像头捕获的22,424张图像，涵盖了26名驾驶员的10种行为。我们随机选择了20名驾驶员的图像作为训练样本，以及6名驾驶员的图像作为
结论
在本文中，我们提出了一种名为FedCAPS的新型个性化联邦框架，该框架结合了专家混合技术和车辆选择算法。其目标是协作并以保护隐私的方式解决驾驶员行为监测的统计异质性问题。通过实证观察，我们发现传统FL方法中的个性化知识会被稀释。因此，我们利用之前训练好的本地模型作为局部专家来交换个性化信息
CRediT作者贡献声明
Akshay Singh：撰写——原始草稿、可视化、验证、方法论、调查、正式分析、数据整理、概念化。Rahul Thakur：撰写——审阅与编辑、监督、资源管理、项目管理、正式分析。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
