《Energy and AI》：A graph neural network enhanced decision transformer for efficient optimization in dynamic smart charging environments
编辑推荐：
为解决电动汽车智能充电在不确定性下快速决策、满足严格电网和用户需求的挑战，本研究提出了一种结合图神经网络嵌入与序列建模的拓扑感知决策Transformer方法GNN-DT。该方法利用离线轨迹学习充电策略，支持可变数量的车辆和充电器无需重新训练，在真实场景中实现接近最优的性能（奖励达到Oracle求解器的95%），训练轨迹需求比基线方法减少10倍，推理速度达毫秒级，适用于大规模充电系统的实时部署。
随着电动汽车的快速普及，如何高效协调大量车辆的充电行为成为电网运营面临的重要挑战。电动汽车智能充电需要在长时间范围内协调大量车辆，同时满足用户需求、电价波动和电网容量约束。在实际操作中，充电点运营商必须在到达、离开和能源需求不确定的情况下进行实时决策。传统的数学优化和模型预测控制虽然能产生高质量的调度方案，但随着车队规模和网络复杂度的增加，计算成本急剧上升，限制了其在实时操作中的应用。在线强化学习虽然具有适应性，但往往受限于稀疏奖励、安全约束和在不同充电基础设施间的泛化能力差等问题。
针对可扩展实时控制与有效利用历史充电数据方法之间的差距，来自代尔夫特理工大学的研究团队在《Energy and AI》上发表了题为"A graph neural network enhanced decision transformer for efficient optimization in dynamic smart charging environments"的研究论文，提出了一种名为GNN-DT的新型拓扑感知决策Transformer架构。
为了应对这一挑战，研究人员设计了一种结合图神经网络嵌入与序列建模的创新方法。GNN-DT的核心创新在于能够处理可变的状态和动作空间，这些空间源于电动汽车、充电器和电网连接数量的动态变化。与传统方法不同，GNN-DT采用残差动作解码机制，将固定长度的transformer输出映射到节点级充电动作，使用状态相关的图嵌入，从而在变化的拓扑结构下实现一致的决策制定。
研究团队首先将EV充电问题建模为马尔可夫决策过程，状态空间表示为动态图结构，包含EV节点、充电站节点、变压器节点和系统级节点。动作空间同样表示为动态图，其中节点对应优化问题的决策变量。奖励函数综合考虑充电成本、电网约束违反和用户满意度等多目标。
在技术方法层面，研究主要包含以下几个关键环节：首先通过EV2Gym仿真器生成随机EV充电场景，采用随机动作、商业即用和最优策略三种方式生成训练轨迹；接着构建GNN-DT架构，其中状态嵌入器和动作嵌入器采用图卷积网络处理动态图结构，通过均值池化产生固定大小的嵌入向量；然后利用GPT-2基础的因果transformer处理嵌入序列，最后通过残差连接机制将transformer输出与GNN节点嵌入结合生成最终动作。训练过程采用监督学习方式，使用包含动作掩码的均方误差损失函数。
实验结果表明，GNN-DT在25个充电站的场景中表现出色。在用户满意度方面达到99.3%±0.03%，接近最优解的99.1%±0.2%，显著高于DT的94.4%±1.6%和Q-DT的93.6%±2.1%。在功率违反约束方面，GNN-DT为21.7±22.8kW，远优于CAFAP的1289.2±261.8kW，接近最优解的2.0±4.6kW。充电成本方面，GNN-DT为-142±89�，明显优于BaU的-255±156�和CAFAP的-277±165�。
5.1. 训练性能
GNN-DT在最优数据集上能快速收敛到接近Oracle性能，而经典DT、Q-DT和其他离线RL算法表现较差。在随机数据集上，所有方法都收敛到较低奖励值，但GNN-DT仍优于基线。在商业即用数据集上，经典DT、行为克隆和IQL的收敛奖励超过GNN-DT。
5.2. 数据集影响
GNN-DT在所有数据集和上下文长度上都优于基线，唯一例外是在商业即用数据集上K=10时。更大的上下文窗口并不总是带来更高奖励，数据集大小对Q-DT影响最小，而DT和GNN-DT通常随轨迹增加而改进。
5.3. 增强训练数据集
将最优和随机数据集以不同比例混合能进一步提高性能。特别是用250条最优和750条随机轨迹训练GNN-DT，能达到接近Oracle的结果。
5.4. 更大上下文长度的影响
上下文长度K在GNN-DT性能中起关键作用，但超过一定点后收益递减。对于高质量数据集，适中的上下文长度效果最好。
5.5. 组件消融研究
消融研究表明，仅使用普通DT或仅添加状态GNN子模块的DT都无法达到竞争性性能。添加残差连接能带来显著改进，移除动作掩码或用图注意力网络替换GCN模块都会降低性能。
5.6. EV充电平均结果
GNN-DT在用户满意度和功率违反方面表现优异，在能量放电和成本方面也优于商业即用和DT变体，同时保持有竞争力的执行时间。
5.7. EV充电示例说明
GNN-DT能成功实现所有EV的期望充电状态，密切遵循最优算法行为，而基准DT和Q-DT显示动作范围较窄，限制了他们优化充电计划和适应变化条件的能力。
5.8. 泛化和可扩展性分析
GNN-DT在具有小、中和极端变化的环境中保持强劲性能，而基线方法随着评估环境偏离训练设置而经历显著性能下降。GNN-DT对问题大小具有不变性，相同RL代理可应用于较小和较大规模环境。
研究结论表明，离线基于序列的策略能在现实不确定性下实现大规模EV智能充电的近最优性能。GNN-DT方法在成本、约束满足和用户满意度方面持续优于在线和离线RL基线，同时适合实时部署并能跨车队规模和网络配置泛化。该方法强调了将结构化表示与高质量离线数据集成对于复杂能源系统中明智决策的重要性。未来工作将重点改进内存效率和对更大拓扑变化的鲁棒性。
该研究的重要意义在于为大规模电动汽车充电管理提供了一种实时、高效且可扩展的解决方案，通过结合图神经网络与Transformer架构的优势，有效解决了动态拓扑环境下的决策优化问题，为智能电网和可持续交通系统的发展提供了重要技术支撑。
