在混合交通环境中，利用模型引导的强化学习实现协同信号与车辆控制

协同优化信号与车辆控制策略的研究

　　
信号-车辆协同控制（SVCC）的智能优化框架研究

混合交通环境中的协同控制问题已成为智能交通系统领域的核心挑战。现有研究多采用传统模型预测控制方法，存在参数敏感性高、动态适应性差等固有缺陷。近年来，基于深度强化学习的智能控制范式展现出独特优势，特别是在处理高维状态空间和非线性系统方面具有显著潜力。本研究针对复杂城市交通场景，提出融合生态驾驶与信号控制的协同优化框架，通过多智能体强化学习机制实现交通流的多维度协同控制。

在交通系统动力学层面，研究揭示了信号控制与车辆驾驶的强耦合关系。信号相位配时直接影响车流时空分布特征，而车辆行驶轨迹又反过来制约信号周期的优化效果。传统研究往往将两者解耦处理，导致控制策略存在系统性缺陷：生态驾驶策略过度关注局部能效优化，忽视信号周期协同；信号控制系统依赖历史流量数据，难以实时响应动态车流变化。这种割裂式控制机制在混合交通场景中容易引发多向反馈震荡，具体表现为信号相位切换时的车流堆积、跟驰车辆频繁急刹等不稳定现象。

研究创新性地构建了双智能体协同学习架构，包含生态驾驶智能体和信号控制智能体两个核心模块。生态驾驶智能体通过物理排队模型实现动态速度引导，该模型基于冲击波理论构建，能够准确预测混合交通流中的车辆到达时间序列。与传统排队模型相比，冲击波理论模型通过建立时空连续性约束，有效解决了异质交通流中的信息失真问题。实验数据显示，该物理模型对实际车流的预测误差控制在8%以内，显著优于传统泊松过程模型。

在强化学习框架设计方面，研究采用分层奖励机制解决长期依赖问题。生态驾驶智能体同时接受过程奖励和终端奖励：过程奖励基于实时速度偏差与物理排队模型的预测误差构建，终端奖励则与车辆通过停止线时的能量损耗相关联。这种双模奖励机制既保证了学习过程的稳定性，又强化了全局优化目标。特别值得关注的是，研究提出的动态n步TD误差算法有效缓解了稀疏奖励带来的训练困难，配合多缓冲采样策略，将训练效率提升约40%。

信号控制智能体采用周期自适应控制策略，通过实时采集的生态驾驶状态数据动态调整信号配时参数。其核心创新在于将车流聚合度（Platoon Green Ratio）纳入控制目标函数，该指标综合考虑了信号周期长度、相位间隔和相位重叠度三个关键参数。实验表明，与传统固定周期控制相比，动态周期控制使平均停车次数减少62%，同时将车流波动幅度控制在±5%以内，显著提升了信号系统的鲁棒性。

协同控制框架的物理基础建立在混合交通流动力学模型之上。该模型通过建立时空连续方程，将车辆跟驰行为、信号周期参数和道路拓扑结构进行统一描述。特别在处理人车混行场景时，研究引入认知延迟补偿机制，有效缓解了人类驾驶者不可预测行为对协同控制的影响。仿真数据显示，在30%人车混行比例下，系统仍能保持85%以上的协同控制效率。

实验验证部分采用南京城市主干道实测数据集进行仿真测试。对比实验涵盖传统控制方法、单独生态驾驶优化和单独信号控制优化三个基准组。研究结果显示，提出的SVCC框架在以下关键指标上实现突破性提升：平均等待时间降低至1.2分钟（基准组2.5分钟），车流能效比提高38%，信号周期利用率达92%，这些数据均优于现有最优方案。值得注意的是，当人车混行比例超过40%时，传统控制方法开始出现系统崩溃，而SVCC框架仍保持稳定控制。

在算法实现层面，研究提出轻量化网络架构设计。生态驾驶智能体采用多层感知机（MLP）结构，通过特征工程将原始高维状态空间降维至78维有效特征空间。信号控制智能体则采用LSTM-GRU混合网络，有效捕捉了交通流的时空依赖特性。实际部署测试表明，该架构在单路口控制场景中推理延迟小于200ms，满足实时控制需求。

研究特别关注了系统扩展性和可移植性。通过模块化设计，SVCC框架支持不同规模交通网络的快速部署。实验在单个交叉路口、三叉路口和六叉路口场景中均取得显著效果，且控制性能随路口规模扩大仅下降3.2%。系统已成功部署于南京城市交通仿真平台，累计处理超过10万条实时交通数据，验证了工程实用价值。

未来研究方向主要集中在人机协同机制的深化和边缘计算部署优化。研究团队计划引入联邦学习框架，实现跨路口控制策略的动态协同，同时开发轻量化边缘计算设备，将控制延迟压缩至50ms以内。这些技术突破将推动SVCC系统从实验室环境向实际路网大规模应用迈进。

该研究的重要启示在于：智能交通控制需要建立跨尺度协同机制，通过物理模型约束强化学习能力，同时利用分层奖励结构平衡短期和长期目标。这种工程导向的智能控制范式，为解决未来高渗透率自动驾驶环境下的复杂交通问题提供了新思路。