一种用于解决随机集装箱转运问题的强化学习方法

《Computers & Industrial Engineering》：A reinforcement learning approach to solve the stochastic Container Trans-marshalling Problem

集装箱垂直布局码头调运率优化研究提出Container Trans-Marshalling Problem（CTMP），通过RPM量化提箱序列不确定性，结合蒙特卡洛树搜索与深度神经网络，将出口集装箱调运率从57.96%降至4.09%。

　　

魏秦|敬涵涛|张战罗|王培翔|周耀明|王迪|黄恒|刘成亮

上海交通大学机械工程学院，中国上海200240

摘要

堆场中出口集装箱的重新排列率是影响自动化集装箱码头吞吐量增长的关键瓶颈。由于码头的动态不确定性和紧凑的操作环境，现有的研究难以直接应用于实际码头操作。本文聚焦于自动化集装箱码头的调度过程，并在之前关于量化取货顺序不确定性和解决集装箱重新排列问题的研究基础上进行了扩展。考虑到垂直布局堆场的特点，我们提出了一个新的集装箱调度问题——集装箱跨调度问题（CTMP）。与传统的预调度问题相比，CTMP具有以下关键特征：（1）集装箱调度操作在垂直布局堆场的“握手”操作期间进行；（2）在不确定的取货顺序下评估集装箱的堆放布局。预调度问题本身是NP难问题，引入不确定性后其复杂性进一步增加。为了解决这个问题，我们开发了一种端到端的CTMP解决方案，该方案结合了蒙特卡洛树搜索（Monte Carlo Tree Search）和深度神经网络（deep neural networks）。实验结果表明，所提出的方法将出口集装箱的重新排列率从57.96%降低到了4.09%。

引言

现代通信、计算和智能控制技术的进步推动了自动化集装箱码头（ACTs）的发展。这些ACTs带来了显著的好处，包括降低劳动强度、提高生产效率和增强安全性。ACTs主要由三个区域组成：码头区、水平运输区和堆场区。ACT堆场布局有两种类型：平行布局（Zhang等人，2024年）和垂直布局（Yin等人，2025年）。在平行布局的码头中，堆块与码头对齐，转移点位于每个堆块内的每个泊位旁边（Lee & Kim，2013年）。大多数新建的ACT，如上海洋山四期和新加坡图阿斯港，采用垂直布局。在这种布局中，堆块与码头成直角，转移点位于每个堆块的两端（Wang, He, Yu, & Guo，2024年）。

图1展示了码场的垂直布局。在船舶装载过程中，取货顺序决定了哪些集装箱会成为阻挡集装箱，即在取货时位于目标集装箱上方的集装箱。垂直布局有几个优点，例如将海边作业和陆地作业分开，以减少交通冲突并提高安全性。海边作业由自动化引导车辆（AGVs）管理，而卡车负责陆地上的取货作业。这种分离通过最小化自动化系统和手动系统之间的互动来降低事故风险。垂直布局还最大化了堆场的存储容量，特别是在码头长度有限但堆场深度较大的情况下，提高了存储密度。此外，这种布局通过为海边作业和陆地作业提供不同的接入点来改善交通流量，减少了拥堵并确保了集装箱处理的效率。

然而，垂直布局也带来了挑战。其中一个最大的挑战是由于堆块长度增加，堆场起重机（YCs）的行驶距离变长。这种增加的行驶距离会导致行驶时间延长，从而降低集装箱处理效率。为了解决这个问题，码头采用了“握手”处理策略。当出口集装箱到达码头时，首先由陆地上的YC将其运输到堆块中间的指定“握手”堆放区。过一段时间后，海边的YC从“握手”堆放区取回集装箱并将其运输到海边堆放区。这样，当船舶到达时，集装箱已经位于海边堆放区，从而减少了海边YC的行驶距离并提高了装载效率。

为了确保及时交付，并考虑到天气和交通拥堵等因素，以及允许进行海关清关，发货人通常会提前几天将集装箱送到码头，以便及时装载到指定的船舶上。在这种情况下，码头在海边堆放集装箱，但只提供有限的装载信息，如集装箱的取货顺序。海边堆放布局与实际取货顺序之间的不一致性导致需要在取货操作前移动位于顶部的阻挡集装箱。这一过程被称为集装箱重新排列，通常需要YC进行比集装箱数量更多的移动。重新排列率定义为总移动次数与集装箱总数的比率，是衡量堆场运营效率的关键指标。同样，在自动化系统研究领域，先前的研究表明，整合多种辅助资源会显著增加调度复杂性——从托盘自动化系统中的固定装置-托盘和物料-托盘约束（Zhou等人，2025年），到灵活作业车间环境中机器和辅助资源的组合优化（Liu等人，2024年）。

图2基于上海洋山四期自动化集装箱码头三个月的运营数据，展示了堆放密度、重新排列率和码头日吞吐量之间的关系。随着堆放密度的增加，堆块重新排列率上升，从40%增加到60%增加了7.86%，从60%增加到80%增加了53.79%。堆场重新排列率代表所有堆块的平均重新排列率（ARR），它影响吞吐量：当重新排列率从30%增加到40%时，吞吐量增加了4.69%；但从40%增加到50%时，吞吐量下降了9.52%；从50%增加到60%时，吞吐量进一步下降了16.48%。

总之，随着集装箱运输量的增长，码头运营面临越来越大的压力，尤其是在堆场区，更高的堆放密度导致更频繁的重新排列。因此，探索管理堆场和降低重新排列率的策略对于提高运营效率和服务质量至关重要。

自21世纪初以来，堆场重新排列问题吸引了越来越多的学术关注，提出了各种数学模型和算法来解决这些问题。总体而言，集装箱重新排列研究主要遵循两个方向：在集装箱重新排列问题（CRP）中优化阻挡集装箱的放置位置以最小化重复重新排列（Tang等人，2024年），以及在集装箱预调度问题（CPMP）中在船舶装载前预先安排集装箱以使存储与取货顺序对齐（Wang等人，2025年）。然而，ACTs的大规模、强耦合和高动态性给上述研究的实际应用带来了两个主要挑战：（1）并行工作模式和高度动态的操作使得取货顺序难以准确预测；（2）NP难问题CRP和CPMP的复杂性使得在有限的时间内获得高质量解决方案变得复杂。

为了解决这些挑战，本研究聚焦于一个核心研究问题：如何将取货不确定性和“握手”操作纳入预调度过程中，以降低垂直布局自动化集装箱码头的重新排列率并提高装载效率。我们引入了取货概率矩阵（RPM）来量化取货顺序的不确定性，并将CRP扩展为概率集装箱重新排列问题（PCRP），以减少装载过程中的重新排列率（Zhang等人，2025年）。尽管提出的启发式Local Safety and Global Flexibility（LSGF）和Adapted Monte Carlo Tree Search（MCTS）算法在解决PCRP方面显示出了有希望的结果，但由于CRP的固有局限性，重新排列率仅从53.75%降低到了45.53%。为了进一步降低堆场中的高重新排列率，我们将研究扩展到了CPMP。本文在之前关于重新排列问题中的不确定性量化和船舶装载期间重新排列策略的研究基础上，探索了考虑“握手”操作的预调度策略，旨在进一步降低船舶操作期间的重新排列率。

部分摘录

CPMP变体与鲁棒CPMP

Lee和Hsu（2007年）提出了第一个全面的CPMP模型，强调优化出口集装箱的重新定位以最小化装载过程中的不必要的移动（Lersteau & Shen，2022年）。Lee和Hsu（2007年）概述了CPMP模型的以下关键假设：

• A1
  预调度在同一泊位内进行。
• A2
  不同尺寸的集装箱存储在不同的堆放区。
• A3
  只考虑一艘船舶。
• A4
  集装箱的装载顺序是预先确定的。

典型的CPMP如图所示

问题描述

解决高重新排列率问题的主要方法是尽可能地对齐堆放和取货顺序。在堆放方面，堆场中的集装箱经历三个阶段：进入、存储和取货。在进入阶段，关键信息如船舶装载计划和起重机工作计划（CWP）尚未确定。因此，取货顺序具有高度不确定性，堆放过程缺乏具体的指导。

端到端解决方案

由于解决方案空间的指数级增长和解决方案的非解析评估，传统的优化方法（如数学编程和树搜索算法）不适合解决CTMP问题，尤其是在需要在几分钟内做出决策的情况下。在这项研究中，我们提出了一种基于强化学习（RL）的端到端方法来解决CTMP问题。

所提出方法的总体框架如图5所示。该框架采用了类似的训练策略

实验设置

基于从实际运营数据中提取的集装箱不确定性估计，我们设计了一系列实验实例。配置由三个参数确定：握手堆放区的数量（$W_h$）、海边堆放区的数量（$W_s$）以及集装箱的总数。握手区和海边区域的堆放区数量都在4到10之间。鉴于码头堆场操作通常按堆块组织，其中每个堆块中的堆放区数量通常

结论

我们提出了CTMP，以优化船舶装载前的集装箱堆放，使用RPM处理取货不确定性，并采用LSGF启发式方法来最小化重新排列。

为了解决其组合复杂性，我们提出了一种基于RL的方法，该方法受到AlphaZero的启发，结合了用于动作预测的神经网络和用于前瞻性搜索的MCTS，迭代地优化网络。我们详细介绍了状态表示、环境、神经网络架构以及为

缩写列表

见表4。

CRediT作者贡献声明

魏秦：撰写 – 审稿与编辑、资金获取、概念化。敬涵涛：撰写 – 审稿与编辑、撰写 – 原始草稿、数据整理。张战罗：撰写 – 审稿与编辑、方法论。王培翔：撰写 – 审稿与编辑。周耀明：监督、项目管理、概念化。王迪：项目管理、调查。黄恒：资金获取。刘成亮：概念化。

致谢

本工作得到了国家关键研发计划（编号2022ZD0119301）的支持。