利用强化学习技术来评估和预测双面光伏组件的长期性能退化模式

《Regional Studies in Marine Science》：Leveraging reinforcement learning technique to evaluate and predict long-term performance degradation patterns in bifacial photovoltaic modules

　　卡姆纳·辛格（Kamna Singh）| 克亚蒂·D·米斯特里（Khyati D. Mistry）| 希伦库马尔·G·帕特尔（Hirenkumar G. Patel）
电气工程，萨尔达尔·瓦拉布巴伊国民技术学院（Sardar Vallabhbhai National Institute of Technology），伊奇查纳特（Ichchhanath），苏拉特（Surat），395007，古吉拉特邦（Gujarat），印度

**摘要**
准确预测长期退化和能量性能对于提高双面光伏系统（bifacial photovoltaic systems）的可靠性和寿命管理至关重要。本研究提出了一个统一的评估框架，该框架比较了传统的分析方法、机器学习模型以及基于强化学习（reinforcement learning）的策略，用于双面光伏模块的长期退化评估。使用了一个包含50个模块的多年合成数据集，以确保对六种方法进行公平且透明的比较。传统的基线方法、电流-电压（I-V）曲线和性能比（performance-ratio，PR）模型显示退化幅度逐渐增加，到最终年份分别达到了5.6%、4.65%和3.69%。数据驱动模型提高了预测准确性，其中随机森林（Random Forest，RF）和长短期记忆网络（Long Short-Term Memory，LSTM）将退化限制在3.26%和3.14%。相比之下，所提出的强化学习方法通过自适应优化运营决策，显著降低了退化程度，最终年份的退化仅为0.25%，同时保持了所有年份的稳定能量输出。尽管强化学习方法由于迭代策略更新需要稍长的计算时间，但它产生的退化轨迹更为平滑，且长期性能优于所有基准方法。总体而言，结果表明强化学习有效延长了双面光伏模块的寿命，并提升了其长期可靠性。

**引言**
近年来，光伏技术的快速进步显著增强了高效太阳能发电的潜力。双面光伏模块是一种新兴技术，可以从正面和背面捕获阳光来发电。这种双向发电能力大大提高了能量输出，优于标准单面光伏模块。因此，许多研究探讨了双面光伏模块在各种运行条件下的性能、可靠性和退化行为。[1]研究了反照率、倾斜角度和行间距对双面模块能量输出的影响，发现根据安装设计和地面反射率，背面辐照度可能贡献高达30%的总能量产出。[2]探讨了环境变量（如遮荫、污染、温度波动和漫射辐照度）对双面光伏性能的影响。最近的研究通过在不同气候条件下评估双面模块的行为，进一步丰富了这一知识。[3]指出双面光伏性能容易受到季节性反照率变化的影响，[4]则表明最佳倾斜技术每年可进一步提高背面能量捕获率8%至12%。

退化是影响光伏模块长期耐久性和性能的重要因素。与具有明显退化机制（如电位诱导退化（Potential-Induced Degradation，PID）、封装材料变色和微裂纹）的传统单面光伏模块不同，双面光伏模块由于双面暴露于环境条件中而面临额外的挑战。[5]报告了双面光伏模块的年退化率在0.5%到1.2%之间，这些退化受气候条件、背面封装材料和模块设计的影响。[6]进一步研究了紫外线暴露、机械负荷和背面污染对加速退化的作用。大多数这些研究依赖于I-V曲线测量、电致发光成像和性能比分析来确定退化趋势。然而，这些技术在预测动态运行环境下的长期性能方面缺乏预测效率。最近的一项研究[7]利用实时现场数据分析了双面模块的退化情况，揭示了传统统计模型未考虑的主要非线性因素。

机器学习（Machine Learning，ML）的整合为光伏系统的性能预测和退化建模提供了新的方法。例如，[8]研究了多种用于光伏性能预测的ML方法，展示了数据驱动模型在太阳能分析中的重要性。[9]利用人工神经网络（Artificial Neural Network，ANN）模拟了在变化辐照度和温度条件下的光伏系统功率输出，取得了很高的预测准确性。支持向量机（Support Vector Machine，SVM）、梯度提升（Gradient Boosting）和集成学习（Ensemble Learning）技术也被用于预测光伏能量产量。尽管取得了这些进展，但很少有研究将机器学习方法应用于双面光伏模块。现有研究通常仅关注单面系统，或未能考虑双面模块的特定特性，如背面能量增益、差异性污染积累和不对称退化。最近的一项工作[10]试图将双面背面辐照度纳入数据驱动的预测模型中，但仍局限于短期预测，未考虑退化进程。

强化学习（Reinforcement Learning，RL）作为ML的一个子集，提供了一种创新技术来克服这些局限性。与完全依赖历史数据的监督学习不同，RL通过与环境的反复互动随时间改进决策。这使得RL在预测光伏系统的长期退化和性能趋势方面特别有用。[11]展示了RL通过自适应倾斜调节优化光伏系统运行的潜力，[12]则利用RL方法进行太阳能光伏安装的预测性维护和异常检测。最近的研究进一步证实了RL的应用性[13]，其在不同环境条件下应用深度RL进行逆变器控制，[14]研究了分布式太阳能电网优化的多智能体RL。然而，RL在双面光伏模块退化建模中的应用，特别是在包含连续（倾斜）和离散（清洁）动作的混合操作优化中的应用仍然相对较少。

尽管现有文献对双面光伏性能、退化机制和基于机器学习的预测提供了重要见解，但仍需要先进的自适应建模方法来预测长期退化并确定最佳运营策略。表1和表2总结了关于双面光伏模块退化和数据驱动预测算法的文献综述。虽然之前的研究已经探讨了双面光伏模块的性能、退化机制和基于机器学习的预测，但大多数方法主要关注能量输出或退化趋势的静态预测，而没有考虑自适应运营控制。在本研究中，提出了一个考虑退化的强化学习框架，同时建模长期退化并优化倾斜角度和清洁间隔等运营参数。所提出的基于策略梯度的方法能够根据环境条件和系统老化情况做出自适应决策。此外，该方法还与传统技术（I-V曲线和性能比）以及机器学习模型（随机森林和LSTM）进行了全面比较。结果表明，强化学习在提高双面光伏系统的长期性能和退化管理方面具有潜力。

**工作新颖性和主要贡献**
(i) 退化建模与运营优化的整合：与将退化估计和系统操作分开处理的以往研究不同，本研究提出了一个统一的框架，同时建模退化并优化倾斜角度和清洁间隔等运营参数。
(ii) 强化学习在双面光伏退化管理中的应用：虽然大多数先前工作侧重于经验模型或监督学习方法，但本研究引入了一种基于强化学习的策略，旨在在保持能量输出的同时最小化长期退化。
(iii) 混合动作空间优化：该方法独特地将连续控制（倾斜角度）和离散维护动作（清洁间隔）结合在一个策略梯度强化学习框架中，这在双面光伏系统中尚未得到广泛探索。
(iv) 开发了一种轻量级且可解释的策略架构，结合了用于连续动作的高斯策略头（Gaussian Policy Head）和用于离散动作的softmax分类头，实现了稳定的学习效果，同时保持了低计算复杂度。
(v) 所提出的框架明确考虑了环境条件、时间动态和渐进式退化状态，使学习代理能够适应短期性能提升和长期系统可靠性。
(vi) 全面的比较评估：所提出的RL方法与传统的退化评估技术（I-V分析和性能比方法）以及机器学习模型（随机森林和LSTM）进行了系统比较，显示出在长期退化和能量稳定性方面的优越性。

第2节详细描述了分析方法。第3节重点介绍了性能提升的结果，并对其进行了批判性评估。第4节总结了研究的局限性和未来的研究方向。第5节总结了关键发现和研究的广泛影响。

**方法框架**
本部分研究了评估双面光伏模块太阳能农场老化和性能退化的先进技术。此外，通过分析环境数据和过去的表现记录，使用高斯过程回归（Gaussian Process Regression）、线性回归（Linear Regression）、回归树（Regression Trees）和支持向量机（Support Vector Machines）等机器学习技术来预测太阳能发电量。图1展示了所提出的双面光伏模块退化方法的运行过程。

**结果与讨论**
为了证明所提出方法的新颖性和有效性，将基于强化学习的框架与传统退化建模技术和光伏研究中广泛使用的数据驱动预测模型进行了系统比较。与仅依赖历史数据估计退化趋势的传统方法不同，所提出的强化学习策略通过与环境的交互持续学习最佳运营策略。

**局限性与未来工作**
所提出的框架在受控的合成环境中可靠地模拟了双面光伏模块的长期退化，使得不同方法之间的比较透明且可重复。未来的工作将扩展验证范围，利用实际运行的双面光伏电站的长期现场数据来确认其实际应用性。由于数据限制，采用了经过优化的随机森林（Random Forest）、LSTM和强化学习模型。

**结论**
本研究提出了一种考虑退化性能的分析驱动的运营优化框架，用于双面光伏系统。该框架紧密整合了分析性退化建模、机器学习和策略梯度强化学习。与传统的性能比分析、I-V曲线诊断或独立的ML模型（这些方法仅提供回顾性且不可操作的退化评估）不同，所提出的方法明确地将退化动态纳入其中。

**作者贡献声明**
卡姆纳·辛格（Kamna Singh）：撰写 – 审稿与编辑、原始草稿撰写、验证、方法论设计。
克亚蒂·D·米斯特里（Khyati D. Mistry）：撰写 – 审稿与编辑、可视化、监督、软件开发、资源管理。
希伦库马尔·G·帕特尔（Hirenkumar G. Patel）：撰写 – 审稿与编辑、监督、软件开发、资源管理、正式分析。

**利益冲突声明**
作者声明他们没有任何已知的可能会影响本文所述工作的竞争性财务利益或个人关系。