面向食物-能源-水资源(Food-Energy-Water, FEW)纽带中集成本地氨生成的农场能源管理的深度强化学习(Deep Reinforcement Learning, DRL)框架

《Renewable Energy Focus》：Deep reinforcement learning framework for farm energy management with local ammonia generation in the Food-Energy-Water Nexus

　　

摘要：天气趋势、自然资源需求与全球人口增长之间的相互交织关系给食物?能源?水资源（Food?Energy?Water, FEW）纽带内的可持续性带来了挑战。本研究开发了FEWtures?DRL，一种融合可再生发电、储能、灌溉及本地氨（作为清洁能源载体）生产的农场能源管理深度强化学习（Deep Reinforcement Learning, DRL）框架。与以往孤立处理上述组件的研究不同，所提框架在动态且复杂的系统交互下联合优化资源配置。仿真结果表明，FEWtures?DRL能有效提升农场绩效：相较于高投入基准（Full Irrigation & Full Fertilizer, FIFF），净收益提高3.7%，灌溉用水量减少42%，氮肥用量减少31%；作物产量保持在FIFF基准的95%以上，表明可用显著更少的投入维持近最优生产力。相较于无投入基准（No Irrigation No Fertilizer, NINF），净收益显著提升。此外，与实用农户（Practical Farmer, PF）策略相比，FEWtures?DRL在经济回报和作物产量上均有持续改善。20次独立运行的统计分析证实上述改进具有显著性，说明该方法在天气变异下具备鲁棒性。总体而言，本研究为在FEW纽带内将DRL应用于一体化农场能源与资源管理提供了概念验证，凸显了DRL在支撑经济可行且资源高效的农业系统中的潜力。

本文解读的论文由Xuebo Liu、Lawryn Kiboma、Vincent Amanor?Boadu、Alex Modarresi、Mary Hill及Hongyu Wu（堪萨斯州立大学Mike Wiegers电气与计算机工程系）完成，发表于《Renewable Energy Focus》。

一、研究背景与意义

传统大规模农业高度依赖化石能源驱动的灌溉与施肥过程，加剧温室气体排放与资源耗竭。食物?能源?水资源（Food?Energy?Water, FEW）纽带强调食物、能源和水系统相互依存，应协同管理以获得优于孤立处理的成效。已有研究分别探讨了可再生能源在农业中的应用、本地可再生能源制氨（ammonia）作为高密度能源载体与肥料来源的可行性，以及深度强化学习（Deep Reinforcement Learning, DRL）在建筑能耗管理与灌溉调度中的优化作用。然而，现有文献大多将能源供给、储能、灌溉与施肥割裂处理，缺乏在单一农场尺度上将可再生能源发电、电池储能、灌溉调度及现场哈柏?博施（Haber?Bosch）法氨生产与施肥耦合的统一决策框架；且作物生长、土壤水分动力学及氮循环过程具强非线性与复杂耦合性，难以用可解析的数学形式表达，使基于线性优化的方法面临困难。为此，研究人员提出FEWtures?DRL框架，将农场管理建模为序贯决策问题，借助DRL从仿真环境中直接学习自适应策略，实现FEW纽带下的综合资源优化。

二、主要关键技术方法

研究人员构建了单农场FEW仿真环境，集成光伏（Photovoltaic, PV）可再生发电、电池储能、基于动态作物模型与土壤水平衡的灌溉模块、本地电解?哈柏?博施法制氨单元（作能源载体兼氮肥源）及作物产量响应函数。将该环境形式化为马尔可夫决策过程（Markov Decision Process, MDP），观测空间含时段、气象、土壤含水量、电池SOC、氨储罐存量等；动作空间为离散/连续的灌溉量与施氮（氨）量决策；奖励函数为净收益（作物销售收入－能源、水、氨生产成本－设备运维折损）。采用深度Q网络（Deep Q?Network, DQN）算法训练智能体，并与高投入基准（Full Irrigation & Full Fertilizer, FIFF）、无投入基准（No Irrigation No Fertilizer, NINF）及实用农户（Practical Farmer, PF）规则策略对照；基于历史气象数据进行多轮独立仿真与统计检验。

三、研究结果

■ Modeling of the single farm within the FEW nexus

研究人员建立了包含PV阵列、电池储能、水泵灌溉引起的土壤水分平衡动态、本地氨生产单元及其作为氮肥施入对作物生长的响应等子模型的单农场FEW系统数学模型，阐明各子系统耦合关系及约束条件，为后续MDP环境提供物理与农学基础。

■ Approach of FEWture?DRL framework

将农场运行映射为MDP，定义观测空间、动作空间及兼顾经济效益与资源消耗的奖励函数；选用DQN算法让智能体通过与仿真环境交互学习灌溉与施氮（氨）的序贯决策策略，无需对作物?土壤?氮循环过程做可微或线性化处理。

■ Simulation

给出PV出力、电池参数、土壤特性、作物系数、氨厂技术经济参数及典型生长季气象数据的取值设定，说明FIFF、NINF、PF三种基准控制规则，描述DQN超参数配置与20次独立重复训练的评估方案。

■ Conclusion（结果分析与结论翻译）

FEWture?DRL应用基于DQN的方法，通过联合考虑可再生能源集成、电池运行、灌溉调度、施氮及作物生产来优化农场级能源与资源管理。结果表明DQN在累积奖励和作物产量上持续优于其他学习型（A2C）及基准策略（FIFF、NINF、PF），且能更有效地协调资源利用。此性能优势源于DRL对系统动态与复杂耦合关系的捕捉能力。相较于FIFF，净收益增加3.7%，灌溉用水减少42%，氮肥减施31%，而作物产量维持在FIFF的95%以上；相较于NINF净收益显著提升；相较于PF在经济回报与产量上均改善。20次独立运行统计检验确认改进的显著性，说明框架在天气波动下具鲁棒性。经训练后的DRL策略可实现计算高效的实时决策，支持变环境条件下的自适应农场运行。该研究为一体内嵌本地氨生成的农场FEW资源管理提供了DRL概念验证，显示DRL对构建经济可行且资源节约型农业系统的潜力。

四、讨论总结

研究人员指出，相比传统分离式或基于解析优化的方法，FEWtures?DRL通过仿真驱动的环境与DRL序贯决策，规避了对作物?土壤?氮过程强行线性化或解析化的需要，更能反映真实系统的非线性和时变耦合特征。框架在降低水肥投入的同时维持近基准产量并提升净收益，证明在FEW纽带中将可再生能源、储能、灌溉与本地氨生产纳入统一DRL决策框架的可行性与优越性。局限在于当前为单场点仿真、未考虑电网交互与市场电价波动，未来可扩展至多农场协同、含电网买卖电价的场景，并尝试更先进的Actor?Critic类DRL算法进一步提升连续动作控制精度。该研究填补了农场尺度FEW集成管理与DRL应用间的研究空白，为智慧农业中可持续资源管理提供了新范式。