《Journal of Industrial and Engineering Chemistry》：Industrial information integration for closed-loop viticultural supply chains: Multi-objective optimization with reinforcement learning and benders decomposition
编辑推荐：
葡萄种植闭环供应链优化研究提出融合工业信息系统、循环经济与强化学习的多目标数学模型，通过Benders分解算法解决计算复杂性问题，实证显示伊朗葡萄案例中新鲜葡萄消耗率提升至90%，实现供应链效率与资源回收率双提升。
扎赫拉·赛义德扎德（Zahra Seyedzadeh）| 穆罕默德·赛义德·贾巴拉梅利（Mohammad Saeed Jabalameli）| 埃赫桑·德赫加尼（Ehsan Dehghani）
伊朗科学技术大学工业工程学院，德黑兰，伊朗
摘要
农业供应链对全球粮食安全和社会经济发展至关重要，但其环境足迹主要源于采后损失和运营效率低下，这给可持续性带来了重大挑战。本研究提出了一个复杂的框架，该框架整合了工业信息系统、循环经济原则和先进的计算技术，以优化封闭式的葡萄种植供应链。通过构建多目标数学模型，在提高经济效益的同时增强社会响应性。强化学习被用来在需求不确定性下动态优化新鲜和加工葡萄产品的分配，展现出强大的适应性，并最终实现90%的新鲜葡萄消费率。此外，还开发了Benders分解算法以确保计算效率，在合理的迭代次数内达到收敛。通过伊朗葡萄园的实际案例研究验证，该框架证明了运营效率的提升、采后损失的显著减少以及资源利用的改善。优化的网络空间配置加强了正向和反向流动的整合，使得可以利用葡萄副产品生产堆肥，并减少对化学肥料的依赖。这些发现提供了可操作的管理见解，强调了适应性分配策略、优化方法的整合以及盈利性与可持续性目标之间的平衡。
引言
农业是一个对国家经济产生重大影响的行业[1]。农业食品供应链（AFSC）对于确保粮食安全至关重要，因为它有助于向消费者提供价格合理、质量高的食品[2,3]。AFSC从供应商开始，最终到达消费者手中。关键方面包括采购方式、管理易腐性、确保充足供应以及优化运输和储存[4]。由于农产品的易腐性，AFSC比许多其他供应链结构更为复杂和具有挑战性[5]。与不易腐物品相比，管理易腐产品的库存和运输时间需要采取不同的方法，因为它们的保质期较短且处理要求更为严格[6]。葡萄是最广泛种植的水果之一，因其营养价值和多功能性而受到重视[7,8]。除了在食品产业中的经济价值外，葡萄还因其富含健康促进的生物活性化合物（如白藜芦醇和多种抗氧化剂）而受到重视，这些化合物与疾病预防和治疗效果有关[9,10]。最近的研究表明，葡萄提取物和加工副产品在管理慢性疾病（如心血管和神经退行性疾病）方面具有潜力，并正在积极研究其在先进生物医学应用（包括药物输送系统和伤口愈合治疗）中的用途[9,10]。这些健康方面的特性进一步凸显了建立一个强大且可持续的葡萄供应链的必要性。有效管理葡萄供应链不仅有利于传统市场，也有利于利用葡萄衍生化合物的新兴营养保健品和制药行业。鉴于葡萄的短保质期，优化葡萄种植供应链（VSC）至关重要，因为它能带来显著的价值。这解决了新鲜葡萄从葡萄园快速高效运输到消费者手中的问题，从而保持品质、减少浪费并确保新鲜度[11,12]。
传统上，供应链主要关注正向流动，即产品的制造和交付给消费者[13]。与传统正向物流不同，反向物流是从终端用户那里收集使用过的产品开始的。这种方法旨在根据产品的状态和潜在价值，采用再制造、翻新或处置等方式处理产品[14,15]。反向物流强调收集不可用产品进行翻新和再利用，从而带来显著的经济和环境效益[16]。此外，这种战略方法提升了公司的社会声誉，体现了其对可持续性和负责任资源管理的承诺[17,18]。在封闭式供应链（CLSC）中，正向和反向流动通常在网络设计中同时得到整合[19]。CLSC的设计是一个关键问题，涉及确定设施的数量、位置、容量和协调。它涵盖了产品流动、价值增值和库存管理，以优化整体运营[20]。农产品的易腐性导致供应链中产生大量浪费[21]。预计到2050年全球人口将增长21%至97亿，因此优化CLSC对于满足日益增长的食品需求、减少浪费和提高资源效率至关重要[22,23]。在这种背景下，CLSC模型越来越被视为通过减少采后损失和促进资源高效回收来推进环境可持续性的关键框架。这些方法符合循环经济原则，将废物转化为增值资源，从而减轻农业供应链的环境足迹。将减少采后损失的策略纳入CLSC结构，可以在管理粮食安全挑战的同时增强全球可持续性目标[24,25]。
在供应链管理（SCM）领域，由于系统的复杂性、连续过程与离散过程之间的相互作用以及相互依赖活动的紧密集成，决策制定变得非常具有挑战性[26]。这些动态特性要求高度的适应性才能有效应对。强化学习（RL）已被证明是SCM中的强大工具，在管理动态和不确定环境中表现出色[27,28]。与传统遵循固定规则框架的优化方法不同，RL通过与环境持续互动进行动态适应[29]。人工智能代理与其环境互动以实现特定目标，收集观察数据、处理信息并选择适当行动[30]。其行动的有效性通过奖励来评估，奖励是一个数值分数，反映其行动与目标的契合度以及对环境的影响[31]。这种迭代学习过程使RL能够处理SCM中的复杂性和不确定性，使其非常适合实时决策，如物流优化、库存控制和需求预测等领域[32]。
供应链网络设计中使用的数学模型通常具有较高的计算复杂性，因为它们具有组合性质和大规模问题维度[33]。当模型包含二进制和整数变量时，这种复杂性进一步加剧，因为这会将问题转化为混合整数线性规划（MILP）形式，而这种形式在计算上非常具有挑战性[34]。随着问题规模的扩大（节点数量、决策层次和操作约束的增加），搜索空间呈指数级增长，使得传统方法的直接解决方案变得耗时且不切实际。与依赖启发式搜索策略的元启发式算法不同，Benders分解算法（BDA）作为一种强大且精确的解决方案框架，在有限的迭代次数内就能找到最优解[35,36]。
考虑到上述方面，本研究相对于现有文献的主要贡献如下：
•设计了一个集成信息模型，通过统一的优化框架整合了多周期、多产品的封闭式葡萄种植供应链（CLVSC）中的物质和信息流。该系统在单一框架内计算上同步了正向流动（新鲜葡萄、果汁、糖浆）和反向流动（肥料），实现了实时、数据驱动的循环性和环境可持续性。
•开发了一个多目标数学模型，以最大化盈利能力和对客户需求的响应性。
•将强化学习模块集成到VSC的工业信息架构中，以实现动态、数据驱动的产品分配决策。
•实施Benders分解算法，有效解决了所提数学模型的计算复杂性问题。
•在伊朗进行了CLVSC的实际案例研究，以验证所提出的数学模型。
本文的结构如下：第2节回顾了有关AFSC的相关文献，指出了现有研究的空白和进一步研究的机遇。第3节介绍了一种两阶段机器学习优化方法，用于提出CLVSC。第4节详细介绍了实现所提模型的解决方案方法。第5节通过伊朗葡萄园的实际案例研究检验了该模型，提供了详细的见解和结果分析。最后，第6节总结了主要发现并为后续研究提供了方向。
章节摘录
文献综述
由于全球对农业食品资源管理需求的增加，封闭式供应链（CLSC）最近受到了广泛关注[37,38]。CLSC已针对多种水果进行了深入研究，包括石榴[39,40]和柑橘类水果[41,42,43]。
Alinezhad等人[20]提出了一个可持续的模糊CLSC网络模型，将其建模为一个考虑需求和回收率不确定性的双目标MILP问题。Chaharmahali等人[44]提出了一个多阶段CLSC模型
方法
本研究提出了一种两阶段混合方法，用于在需求不确定性下优化CLVSC的设计。所提出的框架结合了RL和MILP，利用了自适应学习和精确优化的能力。在第一阶段，采用RL模块通过迭代策略更新来探索新鲜葡萄和加工产品之间的有效分配策略。
结果
本节展示了CLVSC的主要成果，并通过对关键参数进行敏感性分析，利用实证案例研究严格评估了所提出的CLVSC框架的有效性。
扩展和更广泛的意义
虽然本研究是在葡萄种植供应链（VSC）的背景下进行的，但所提出的框架具有很高的通用性，并为广泛的科学领域提供了重要的方法论贡献。
•这种集成的两阶段框架结合了RL进行动态适应和MILP进行战略设计，为管理其他易腐品供应链（如乳制品、制药和花卉产业）提供了蓝图。平衡新鲜产品和
结论
葡萄种植供应链（VSC）是支持全球营养网络和农村经济系统的关键基础设施。然而，采后损失和供应链浪费造成的显著环境足迹成为实现可持续运营的主要障碍。这突显了在CLSC框架下推进可持续性的紧迫需求。CLVSC通过整合循环经济原则，为减少这些影响提供了有希望的解决方案
资助
本研究未获得任何公共、商业或非营利部门的特定资助。
数据和材料的可用性
支持本研究结果的数据可向相应作者索取。
CRediT作者贡献声明
扎赫拉·赛义德扎德（Zahra Seyedzadeh）：撰写——原始草稿、可视化、软件开发、数据调查。穆罕默德·赛义德·贾巴拉梅利（Mohammad Saeed Jabalameli）：撰写——审稿与编辑、监督、方法论设计、概念化。埃赫桑·德赫加尼（Ehsan Dehghani）：撰写——审稿与编辑、验证、监督、方法论设计、概念化。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
