一种分层多时间尺度强化学习框架，用于混合能源存储管理，并具备对老化现象的感知及相应的约束适应能力

《Scientific Reports》：A hierarchical multi?timescale reinforcement learning framework for hybrid energy storage management with aging?aware constraint adaptation

　　

摘要

混合能源存储系统（HESS）结合了电池和超级电容器，为现代能源系统中同时满足能量和功率需求提供了有效的解决方案。然而，这些系统的性能和寿命在很大程度上取决于所采用的能源管理策略，该策略必须平衡快速功率调节、安全保障以及电池的长期健康状况。现有的基于强化学习的方法通常采用扁平的控制架构，这将短期决策与长期老化效应混在了一起，导致训练不稳定、可解释性有限以及奖励结构非平稳。本文提出了一种分层的多时间尺度强化学习框架，用于电池-超级电容器混合系统的能源管理，并具有显式的老化感知约束适应能力。该框架将控制问题分解为三个协调层：一个快速的安全关键层，用于执行严格的运行约束；一个基于近端策略优化（PPO）的中间强化学习层，用于实时功率分配；以及一个慢速的监督层，该层使用高斯过程回归（GPR）老化模型来估计电池的健康状态（SOH）。该方法没有直接将老化成本嵌入学习目标中，而是通过依赖于SOH的自适应电流限制来体现电池退化，从而确保了准平稳的学习动态和安全的长期运行。在标称条件、渐进老化以及安全关键运行条件下进行了全面的仿真研究。在标称SOH下，所提出的框架能够将电池和超级电容器的SOC偏差保持在参考值的±3%范围内，同时使电池电流低于标称的125 A限制。随着老化进程的推进，与基于奖励的SAC和平坦RL基线方法相比，该方法实现了更低的平均电池电流平方值和更低的累积能量吞吐量，从而在相同的应力水平下显著减缓了SOH的下降速度。此外，在SOH降低的情况下，面对激进的脉冲负载时，所提出的方法具有最低的约束激活频率，表现出更优越的内在安全性和鲁棒性。总体而言，研究结果证实，分层的时间尺度分离能够在不牺牲学习性能的情况下，实现稳定、具有老化感知能力且物理上一致的能源管理。