作为一种清洁且灵活的能源载体，氢气日益被视为全球脱碳和未来能源系统的关键组成部分[1,2]。氢能与燃料电池技术的战略整合对于平衡全球能源格局和实现净零目标至关重要[3]。近期研究表明，大规模部署绿色氢气不仅需要降低成本，还需要制定稳健的运行策略以适应可再生能源的间歇性[4]。在各种生产途径中，如生物方法和热化学循环[5,6]，水电解技术脱颖而出。尽管取得了显著进展，但研究人员仍在继续解决效率、耐用性和系统级集成方面的根本性问题，以满足不断增长的工业需求[7]。
已经开发出多种电解槽技术，包括聚合物电解质膜（PEM）、阴离子交换膜（AEM）和固体氧化物电解。其中，碱性水电解（AWE）由于其成本效益、长运行寿命和技术成熟度，仍然是大规模工业应用的最可行选择[7,8]。最近对水电解技术的综述强调，先进的数值模拟与优化技术之间的协同作用正成为下一代系统开发的基础[9]。因此，研究强调了在时变输入条件下保持AWE系统高效运行的策略的必要性[10]。然而，传统的AWE运行可能会受到气泡积聚及其相关传输损失的影响，这些因素会增加有效电阻并降低能源效率[11,12]。为了解决这个问题，零间隙配置使得电极能够直接接触隔膜，从而减少界面电阻并实现高电流密度运行[13,14]。
基于模拟器的电化学建模的最新进展使得这些运行变量得以系统地探索。虽然参数扫描和确定性建模仍然很常见[15,16]，但它们通常计算成本较高，并且对温度、流速和电流密度等变量之间的非线性耦合非常敏感[17],[18],[19]。为了克服这些计算瓶颈，数字孪生技术从智能制造领域脱颖而出，为实时监控和智能决策提供了变革性的方法[20]。随着这一跨学科趋势的发展，人工智能（AI）技术开始将机器学习或深度学习与基于物理的建模相结合，以提高运行效率[20,21]。例如，在PEM电解研究中，AI驱动的替代模型建模在以传统计算成本实现氢气生产模拟方面显示出巨大潜力[22]。
在这些基于替代模型的进展基础上，强化学习（RL）成为优化此类复杂能源系统的理想选择。RL特别适合连续控制问题，因为它通过与环境的迭代交互来优化决策策略。通过利用反馈驱动的学习，RL能够高效地应对非线性和高维的运行空间[23],[24],[25],[26],[27],[28]。例如，基于物理的神经网络的发展为将非线性偏微分方程直接嵌入深度学习架构提供了坚实的框架[21]。然而，尽管引入了替代模型以减轻高保真度仿真的计算负担，但专门针对零间隙AWE系统的替代模型辅助RL的集成仍不够充分。特别是，目前缺乏能够在确保高效优化的同时保持电化学可解释性的框架。
在本研究中，我们提出了一种基于替代模型的RL框架，通过将COMSOL生成的电化学数据与深度神经网络（DNN）替代模型相结合来优化零间隙AWE系统。该替代模型能够准确捕捉不同条件下的氢气生产和电压响应，使RL代理能够评估复杂的运行策略。为了反映实际工业操作情况，氢氧化钾（KOH）浓度被视为半静态环境变量，而温度、入口流速和电流密度则作为动态控制参数进行优化。本研究的主要贡献包括：(i) 从高保真度Multiphysics仿真中开发出精确的极化替代模型；(ii) 将该模型嵌入RL环境以实现自主连续运行优化；(iii) 对代表性的RL代理进行基准测试以确定稳定且收敛的策略；(iv) 对优化条件进行实验验证。通过将策略搜索限制在物理上有意义的范围内，该框架增强了学习稳定性，并确保了在工业AWE系统中实现实时控制所需的效率。
