混合流水线作业的实时调度：考虑操作跳过以及盐生产过程中与工序顺序相关的准备时间

《Computers & Industrial Engineering》：Real-Time scheduling for hybrid flow shop with operation skipping and sequence-dependent setup times in brine salt production

本文针对制盐生产中的混合流车间调度问题（HFSPOSS），结合操作跳过和顺序相关准备时间，提出基于深度强化学习的实时调度方法。通过混合整数数学模型描述实际问题，设计融合符号归一化算子和自适应突变策略的混合差分进化算法（HVED）生成高层调度规则，构建动态调度框架，有效应对新任务到达和动态扰动，实验表明方法优于传统和现有DRL方法。

　　

吴文斌|王磊|唐娜|景浩然

中国常州213022，河海大学机电工程系

摘要

随着大规模定制生产模式的出现，具有操作跳过和顺序依赖的设置时间的混合流式车间调度问题（HFSPOSS）逐渐在现实制造环境中出现，特别是在盐厂中。这些独特的问题约束和频繁的动态干扰进一步增加了其复杂性和不可预测性。因此，本文提出了一种基于深度强化学习（DRL）的实时调度方法，以最小化新任务到达时的HFSPOSS总加工时间。具体来说，提出了一种混合整数数学模型来解决盐的实际生产问题。然后，提出了一个实时调度框架来协调任务排序和机器选择。此外，设计了一种基于差分进化算法（HVED）混合变体的高级调度规则，以增强代理在每个交互点的决策能力。另外，在终端集的变异过程中引入了符号规范化操作符和自适应变异操作符，以提高这些规则的有效性和调度性能。随后，系统地设计了状态空间、奖励函数和训练算法。广泛的实验表明，在大多数情况下，所提出的方法比传统的调度规则、遗传编程和两种基于DRL的方法平均性能提高了7.8%以上。

引言

近年来，随着全球市场对个性化和多样化产品需求的增长，大规模定制生产模式逐渐成为现代制造业的主流趋势（Chen等人，2024年）。虽然这种生产模式满足了个性化客户的需求并提高了企业的竞争力，但它也对传统生产系统提出了更高的要求（Luo等人，2024年）。特别是在化工行业中，产品种类繁多、工艺路线复杂以及市场原材料价格波动（Lee等人，2024年）共同给生产调度优化带来了前所未有的挑战（Wallrath等人，2023年）。

在各种化工产品中，盐由于其高纯度、优异的溶解性、经济性和环保性，已成为食品、医药和工业制造领域的重要原材料（Liu等人，2023年）。然而，其调度过程非常复杂。一方面，作为一种特殊的化工产品，盐的生产涉及许多化学反应，不同类型的产品通常有特定的技术要求，使得生产过程难以预测。另一方面，盐的市场需求经常波动，外部因素如气候和天气会直接改变原始订单，这使得现有的生产计划变得无效。因此，设计一种有效的盐生产调度方法已成为企业的迫切需求。

盐的生产过程包括三个阶段：预处理阶段、专门处理阶段和仓储阶段。具体来说，所有产品都是通过离心、干燥和筛分从不同比例的精制盐中加工出来的，在预处理阶段，处理时间随着盐含量的增加而减少。随后，成分配方的不同导致了操作跳过的现象。例如，散装盐在混合阶段需要添加碘、钾和其他微量元素，而颗粒盐则不需要这些添加剂，因此颗粒盐不需要参与这一阶段，从而导致操作跳过。之后，产品被储存在指定的筒仓中，等待定制包装和仓储以完成整个生产过程。需要注意的是，一旦专门处理阶段的任务完成，机器必须及时进行清洁、干燥等相关操作，以减少后续任务之间的交叉污染，确保不同产品符合安全标准。因此，盐的生产过程可以概括为一个具有操作跳过和顺序依赖的设置时间的混合流式车间调度问题（HFSPOSS）。

基于上述分析，盐的生产调度面临独特的挑战，特别是由于某些处理操作的跳过。然而，关于新任务到达时的HFSPOSS的研究仍然有限。大多数现有研究（Ouchene等人，2023年；Ritt和Rossit，2024年；Yu等人，2024年）集中在静态调度上，未能解决现实世界动态因素带来的复杂性。具体来说，这些研究缺乏处理频繁订单插入、设备故障和原材料短缺所需的灵活性，而这些在盐的生产中很常见。由于问题的特殊性，这些方法适用性有限，仅适用于某些问题。当操作跳过的阶段发生变化时，当前的解决方案往往会出现调度结果不佳和调度冲突等问题。同时，盐的实际生产经常受到各种不确定性的影响，如频繁的订单插入、机器故障、原材料供应不足等干扰。因此，本文提出了一种实时调度框架，以解决盐生产过程中操作跳过和顺序设置时间的特点。

另一方面，为了应对由动态事件引起的频繁中断，基于深度强化学习（DRL）的调度方法已广泛应用于HFSP。其核心思想是代理反复与环境互动，根据奖励反馈迭代更新策略网络，从而学习有效的决策策略来优化调度目标。在基于DRL的方法中，动作空间的设计对代理的决策至关重要，通常分为两类：（1）端到端公式直接输出“任务-操作-机器”序列来选择资源。然而，HFSPOSS使得可执行操作集变得依赖于状态和时间变化，这使得动作语义难以保持一致，容易导致不可行的分配。因此，通常需要额外的掩蔽或修复机制来确保可行性，但这会降低有效动作的密度，增加训练噪声，并破坏策略学习的稳定性。（2）基于启发式规则的公式允许代理在每个决策点从预定义的规则池中选择一个规则，然后选定的规则执行任务优先级和机器分配（Zhang等人，2023年；Gu等人，2024年）。这种范式在很大程度上将策略学习与可行性构建分离，因为规则可以明确包含状态信息和约束，从而生成本质上可行的决策，并具有更可控的动作范围。因此，它更适合具有操作跳过的动态HFSPOSS场景。

同时，差分进化（DE）算法因其出色的全局搜索能力而成功应用于HFSP（Morais等人，2022年；Kucukkoc等人，2024年）。然而，据我们所知，很少有研究使用DE来生成高级调度规则来解决HFSPOSS。为了填补这一空白，本文提出了一种差分进化的混合变体（HVDE），通过迭代进化到终端个体集来生成高级调度规则。为了提高生成规则的有效性和一致性，设计了一种符号规范化操作符来约束规则表达式。此外，引入了一种自适应变异方案来提高HVDE的优化能力和收敛稳定性。

本文的主要贡献如下：（1）本文设计了盐生产中具有操作跳过和顺序依赖的设置时间的混合流式车间调度问题（HFSPOSS），并提供了一个混合整数数学模型。（2）提出了一个用于HFSPOSS的实时调度框架，它可以根据生产订单情况准确更新生产队列的处理，并进行代理的决策和训练。（3）设计了一种基于差分进化算法（HVED）混合变体的高级调度规则，以增强代理的决策能力。为了确保这些规则的有效性，在终端集的变异过程中引入了符号规范化操作符和自适应变异操作符。（4）实验结果表明，所提出的方法可以有效应对频繁的新任务到达，并且与其他方法相比表现出更好的性能。

本文的其余部分组织如下：第2节提供文献综述。第3节介绍HFSPOSS的问题描述和相应的数学模型。第4节介绍基于DRL的实时调度方法，第5节通过实验验证所提方法的有效性和优越性。最后，第6节总结研究并讨论未来研究方向。

章节片段

文献综述

据我们所知，很少有研究探讨HFSPOSS在盐生产中的应用。因此，本节提供了HFSPOS的概述，包括其发展趋势和解决HFSP的方法。

问题描述

盐是一种多组分特种化工原料，其生产过程复杂，涉及复杂的化学反应。如图1所示，制造操作包括三个主要阶段：预处理、专门处理和仓储。这些阶段按顺序组织，以确保生产符合质量和安全标准。

在预处理阶段，精制盐经过离心处理，

方法论

本节介绍了基于演员-评论家框架的提出的方法。4.1节建立了基于HFSPOSS的调度框架。4.2节描述了车间的实时生产状态的状态空间。4.3节提出了基于高级调度规则的动作空间，包括符号规范化操作符和自适应变异公式。4.4节定义了奖励机制。4.5节设计了训练算法。

算术示例分析

首先介绍了实验案例。其次，介绍了模型训练和超参数调整。第三，验证了所提出的HFSPOSS混合整数数学模型的有效性。第四，进行了消融实验，以展示设计的HVDE提高了代理的决策能力。最后，进行了比较实验，以证明所提方法的优越性。

结论

有效解决HFSPOSS对于大规模定制生产模式下的企业生产至关重要。本文提出了一种基于DRL的实时调度方法。首先，基于盐的实际生产开发了一个混合整数数学模型。然后，设计了一个实时调度框架来协调任务排序和机器选择。为了增强代理的决策能力，引入了一种混合进化差分算法（HVED）。

CRediT作者贡献声明

吴文斌：写作 – 审稿与编辑、监督、方法论、资金获取、概念化。王磊：写作 – 原始草稿、软件、方法论。唐娜：可视化、调查。景浩然：软件、概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本项工作得到了江苏省自然科学基金（编号：BK20221231）、江苏省研究生研究与实践创新计划（KYCX24_0823）、国家自然科学基金（编号：51875171）和常州市科技计划项目（编号：CM20223014）的支持。作者感谢审稿人的宝贵意见和建议。