通过改进的对抗性双深度Q网络算法，实现集成流程规划与调度以及可重构制造单元的应用

《Engineering Applications of Artificial Intelligence》：Integrated process planning and scheduling with reconfigurable manufacturing cells through an improved dueling double deep Q-network algorithm

可重构制造系统与矩阵结构制造系统的集成过程规划与调度优化研究，提出改进的D3QN算法，通过混合整数规划模型和马尔可夫决策过程实现动态调度，有效降低makespan，实验验证优于传统方法。

　　

余明|梁铮|刘建华|庄存波

北京工业大学智能制造技术研究中心，中国广东省珠海市，519088

摘要

对集成化、灵活性和可扩展性工程系统的需求不断增加，加速了人工智能在制造调度中的深入应用。这些进步有助于在动态市场条件下提高响应速度和集成度。本研究探讨了在矩阵结构制造系统（MMS）中，利用可重构制造单元（IPPS-RMCs）进行集成过程规划和调度的问题。为了解决这一挑战，我们提出了一种改进的Dueling Double Deep Q-Network（D3QN）算法来最小化生产周期。我们构建了一个混合整数规划模型，并将调度过程建模为马尔可夫决策过程，该过程包含13维状态特征、36维复合调度规则动作空间以及定制的奖励机制。根据问题规模动态调整，采用了一种软ε-贪婪策略来平衡探索和利用。在三种不同场景下（作业数量从6到50个，制造单元数量从6到20个）进行的实验表明，所提出的深度强化学习方法在解决方案质量上优于传统的Deep Q-Network算法和调度规则。本研究为面临快速变化市场需求的制造环境提供了一种高效且适应性强的解决方案。

引言

工业4.0代表了制造业发展的新阶段，它结合了各种创新和集成技术。在这个新阶段，生产系统中的技术创新要求人们采用智能工作方法，整个价值链中的所有环节都将依赖先进的信息和通信技术（Frank等人，2019年）。为了拥抱数字化和网络化，制造业需要优化资源利用，以提高制造系统的效率、适应性和可持续性（Schlemitz和Mezhuyev，2024年；C. Wang等人，2025年）。现实世界生产中的调度问题通常涉及复杂的、相互关联的决策，这凸显了采用先进优化方法的必要性，以实现高效的生产结果（Chen等人，2025年）。

过程规划和调度是现代制造系统中两个基本且互补的组成部分。过程规划决定了每个生产任务的原材料和制造流程，弥合了产品开发与生产制造之间的差距。调度系统负责安排相关机器上的所有操作，以满足过程规划的限制并优化预定义的优化目标（Li等人，2019a）。然而，在传统制造中，分别优化过程规划和调度存在挑战，因为在制定过程计划时没有考虑车间资源的可用性。这种方法假设车间资源在过程规划期间始终可用，但实际情况往往并非如此。当资源可用性发生变化时，原始的过程计划可能变得不可行。此外，过程规划和调度的不同优化目标使得难以实现全局最优（Bensmaine等人，2014年）。为了解决这些挑战，引入了集成过程规划和调度（IPPS）问题。IPPS结合了过程规划和调度，体现了现代制造系统的灵活性。这种集成方法符合向智能和集成制造发展的趋势，提高了生产效率并确保了更顺畅的运营（Liu等人，2023a）。

20世纪70年代，为单一产品的大规模生产设计的专用生产线（DMLs）在市场需求和供应一致时实现了高生产效率。然而，DMLs在面对多样化的生产需求时缺乏足够的灵活性，无法应对不可预测的市场波动。20世纪80年代，市场需求的快速变化和产品生命周期的不断缩短意味着生产不再局限于单一产品的批量生产。定制化生产在市场上越来越受欢迎，制造企业从单一商品的大规模生产转向了多种定制商品的小批量生产，从而催生了柔性制造系统（FMS）（Guo等人，2024年；Naderi和Azab，2021年）。然而，企业实践中的实验发现，尽管FMS比DMLs更具灵活性，但它需要大量的资本投资且生产效率较低（Azab和Naderi，2015年）。可重构制造系统（RMS）具有模块化、集成化、可转换性、可扩展性和可定制性等特点，使其具有高度的可重构性（Koren等人，1999年）。因此，RMS能够快速重新配置，降低了使用不同机器的相关成本（Yu等人，2013年）。

RMS的这种可重构能力源于其可以通过改变布局、添加或移除机器或调整其模块来进行重新配置（Vahedi-Nouri等人，2024年）。尽管RMS可以适应不同的制造环境，但由于它侧重于机器级别的模块化而非系统级别的协调，且往往缺乏明确的整体布局约束，因此在实际管理多个工作流程时可能会遇到布局限制。频繁的硬件重新配置也会带来高昂的成本和操作复杂性，使得在波动环境中难以发挥其优势（M. Wang等人，2025年）。Greschke等人（2014年）提出了矩阵结构制造系统（MMS）的概念，该系统采用物理矩阵布局，使独立的生产单元能够高效且同时处理复杂的定制任务。矩阵生产系统动态配置生产单元并调动设备资源，以满足多种产品的生产需求（X. Wang等人，2025年）。

可重构性提供了满足多样化制造需求所需的适应性和灵活性。正如Koren（2010年）所指出的，可重构机器主要分为四类：可重构机床、可重构装配机、可重构检测机和可重构夹具。然而，重新配置一个制造单元需要时间，这可能会延迟生产计划（Fan等人，2022年）。实际上，每个制造单元所需的处理能力因定制任务的不同而异，导致每种可重构设备的配置时间也不同（Mahmoodjanloo等人，2020年）。因此，在实际生产中考虑不同制造单元的配置时间至关重要。

为了提高调度解决方案的实用性和适应性，本研究考虑了在MMS中转换不同类型加工设备所需的配置时间。随着柔性制造系统和计算机数控机床在现代制造业中的广泛应用，单个任务可能涉及多种工艺设计方案（Li等人，2019a）。在本研究中，调度输入不是固定的工艺计划，而是根据优化目标从各种设计方案中选择最优工艺路线。

本研究将过程规划和调度结合起来，以适应实际制造业的发展趋势。同时，它还结合了可重构制造单元（RMCs）的灵活性，以提高调度精度。因此，本研究重点关注利用可重构制造单元进行集成过程规划和调度（IPPS-RMCs）。我们提出了一种Dueling Double Deep Q-Network（D3QN）算法来解决IPPS-RMCs问题，以最小化生产周期。本研究的主要贡献如下：

(1)

为IPPS-RMCs建立了一个混合整数规划（MIP）模型，主要目标是最小化生产周期。

(2)

将带有RMCs的生产调度过程建模为马尔可夫决策过程（MDP）。该框架采用了创新设计的状态空间和新型复合调度规则，有效处理了由多个相互作用的子问题带来的复杂性。

(3)

为了解决Deep Q-Network（DQN）中的高估偏差，采用了Dueling Network架构。此外，引入了定制的奖励机制和软ε-贪婪探索策略，以提高调度代理的学习效率和效果。

(4)

所提出的方法在扩展的公共数据集和随机生成的数据集上均表现出优于传统调度规则组合和标准DQN算法的性能。它还展示了较强的泛化能力和更高的稳定性。

本研究的其余部分安排如下：第2节回顾相关文献。第3节介绍IPPS-RMCs的问题描述和数学模型。第4节详细介绍了改进的D3QN算法和解决过程。第5节进行数值实验并进行分析。第6节总结了本文中的工作。

节选内容

文献综述

在第2.1节中首先回顾了IPPS领域的最新研究进展。接下来，第2.2节提供了制造可重构生产调度的概述。最后，第2.3节简要介绍了深度强化学习（DRL）在调度领域的应用。

问题描述和建模

< />

提出的D3QN算法

在本节中，我们采用了DRL算法来解决IPPS-RMCs问题。DRL将深度学习与强化学习相结合，利用深度学习模型在强化学习框架内处理高维输入数据，并有效学习复杂策略。

数值实验

本节介绍了实验设置并对结果进行了全面分析。第5.1节详细介绍了超参数调整过程和实验参数配置。第5.2节描述了数据集的特点和生成方法。第5.3节分析了算法训练过程，第5.4节展示了比较实验结果。第5.5节进行了数据敏感性分析，以评估所提出方法的稳健性。

结论和未来工作

本研究提出了一种改进的Dueling Double Deep Q-Network（D3QN）算法，用于解决矩阵结构制造系统（MMS）中的集成过程规划和调度问题（IPPS-RMCs）。首先，为IPPS-RMCs问题建立了一个混合整数规划模型，优化目标是最小化生产周期。随后，将IPPS-RMCs过程建模为马尔可夫决策过程，并制定了36条复合调度规则。

CRediT作者贡献声明

余明：撰写——初稿、可视化、方法论、调查、概念化。梁铮：撰写——审稿与编辑、撰写——初稿、方法论、形式分析。刘建华：撰写——审稿与编辑、资金获取、数据整理、概念化。庄存波：撰写——审稿与编辑、监督、资源协调、项目管理。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了国家重点研发计划（2024YFB3312700）和国家自然科学基金（52375479）的财政支持。