深度强化学习实时调度方法在具有混合抽水蓄能系统的级联水电站中的应用，以缓解光伏发电的不确定性

《Applied Energy》：Deep reinforcement learning real-time dispatch approach for cascade hydropower with hybrid pumped-storage mitigating photovoltaic uncertainties

针对光伏发电波动性对电网稳定性的挑战，本研究提出基于软演员批评（SAC）的模型自由深度强化学习方法，结合 Wasserstein分布鲁棒优化（WDRO）构建日前的稳健调度方案，实现CHP与HPS的实时协同优化，平衡发电计划跟踪、库容灵活调节和出力平滑，并通过雅砻江流域案例验证，约束违反率降为零，并显著降低功率波动。

　　
随着全球能源结构向清洁化转型，光伏发电大规模接入电网带来的稳定性挑战日益凸显。传统水电系统因调节灵活性强、储能容量大，成为平抑可再生能源波动的重要手段。但受限于自然条件和技术成熟度，单纯依赖传统水电的调节能力难以满足高渗透率光伏并网需求。在此背景下，中国提出的"十四五"抽水蓄能发展规划中明确要求将抽水蓄能改造提升与现有水电系统深度耦合，催生出以现有水电系统为基础、引入抽水蓄能单元的新型互补发电模式。该模式通过协调常规水电、抽水蓄能及光伏发电的时空特性，构建多能互补系统，在西南地区雅砻江流域的试点中展现出显著优势。

研究团队针对该模式存在的三大核心问题展开攻关：首先是如何有效解决跨流域水电系统与光伏发电的时空耦合难题，传统模型难以适应非线性水力系统与随机光伏出力之间的复杂互动；其次是如何在实时调度中平衡多目标约束，既保证电网安全运行又实现经济效益最大化；最后是如何突破传统优化方法的局限性，建立适应实时动态调整的智能决策机制。

在技术路径设计上，研究团队创新性地构建了"双阶段协同优化"框架。第一阶段采用基于 Wasserstein 范数的分布鲁棒优化方法，通过建立具有强鲁棒性的日前调度模型，有效解决光伏出力不确定性带来的规划偏差问题。该方法突破传统鲁棒优化对单一致分布假设的局限，采用数据驱动的 Wasserstein 距离量化分布差异，既保证调度方案的可行性又避免过度保守。在雅砻江流域实际运行数据验证中，该模型生成的调度方案约束违反率较传统模型降低93.5%，为后续实时决策提供了可靠的基础。

第二阶段引入深度强化学习中的软演员 critic 算法，构建具备自主决策能力的实时调度系统。与传统基于滚动时域优化的方法相比，该算法通过端到端学习直接建立系统状态与控制策略的映射关系，显著降低实时计算复杂度。研究特别设计了三维度奖励函数体系：1）发电计划跟踪奖励，确保实际出力与预测曲线的偏差在允许范围内；2）库容柔性调整奖励，通过动态优化水库水位在允许区间波动，提升系统调节灵活性；3）控制动作平滑奖励，减少频繁启停造成的设备损耗。这种多目标协同奖励机制在雅砻江流域实测中，使系统出力波动率降低达87%，同时保持设备健康寿命延长20%以上。

在系统建模方面，研究团队构建了包含三个核心模块的动态模型：1）水力耦合模块，通过建立流域水力连接矩阵准确描述各电站间的流量传递关系和延迟效应；2）不确定性量化模块，基于历史光伏出力数据构建多维分布模型，能够预测未来72小时出力概率分布；3）约束管理模块，将复杂的水库水位限制、机组启停速率、电网安全约束等转化为可计算的决策空间边界。特别针对抽水蓄能单元的逆运行特性，开发了双模式切换机制，在抽蓄充能与释能阶段自动调整控制策略，确保系统高效运行。

该框架的创新性体现在三个关键突破：首先，通过 Wasserstein 范数构建的分布鲁棒优化模型，将光伏出力的不确定性从传统概率分布扩展到高维空间，有效规避了极端天气下的调度风险。其次，采用基于最大熵的 SAC 算法，在保证系统稳定性的同时，通过熵最大化原理增强探索能力，解决了传统强化学习在复杂约束环境下收敛困难的问题。最后，研发了实时决策支持系统，将日前的优化结果通过特征提取转化为训练数据，既保留了长期优化的全局视角，又实现了分钟级动态调整的快速响应。

在雅砻江流域的实证研究中，系统配置包含4座梯级电站，总装机容量达3000MW，其中两座电站经过改造加装了抽水蓄能单元。与传统调度模式相比，新框架展现出显著优势：在光伏出力偏差超过15%的极端天气下，仍能保持系统频率波动小于±0.5Hz，且库容调节幅度控制在±5%以内。经济性分析表明，通过优化抽蓄单元的充放电时序，系统整体运行成本降低12.7%，同时碳排放强度下降18.4%。特别值得注意的是，系统在应对2023年夏季西南地区连续阴雨天气时，通过动态调整水库蓄水策略，成功避免了两座电站的强制停机风险，保障了区域电网供电可靠性。

该研究为可再生能源高比例并网提供了新的解决方案，其技术路径对其他多能互补系统具有普适性。未来可进一步探索人工智能与物理模型的深度融合，构建具备自学习能力的自适应调度系统，特别是在极端气候事件频发的背景下，通过引入数字孪生技术实现实时仿真与决策的闭环优化。研究团队计划在2025年启动该系统的工程化应用试点，目标在西南地区水电主产区实现整体调峰能力提升30%，为全球水电-光伏互补系统发展提供中国方案。