一个综合考虑船舶到港不确定性的、用于泊位、船坞和岸电规划的集成式鲁棒框架

《Ocean Engineering》：An integrated robust framework for berth, yard, and shore power planning considering vessel arrival uncertainty

　　王文思|尹天润|姚宝珍|宋志坤
大连海事大学交通工程学院，中国大连116026

**摘要**
集装箱码头必须在船舶到达之前做出关键的泊位和堆场分配决策，因为出口集装箱需要在堆场进行预先堆放，而具备岸电功能的泊位也需要提前预留。然而，在这一预到达规划阶段，船舶到达时间的不确定性普遍存在，严重扰乱了港口运营，使得综合规划变得复杂，并由于岸电（OPS）利用率低而阻碍了碳减排的进展。为了解决这些问题，本文提出了一种在船舶到达时间不确定的情况下，用于泊位和堆场分配的鲁棒优化框架（BYAOP）。该模型采用最小-最大鲁棒方法来应对最坏情况，明确考虑了OPS的兼容性和碳税成本，以最小化总费用。鉴于这一大规模问题的计算复杂性，我们设计了一种新颖的对抗性策略迭代与分层多智能体软演员-评论家（API-H-mSAC）算法。该框架包括一个做出泊位和堆场决策的主角智能体，以及一个生成最坏情况到达时间的对手智能体。分层锚点机制减少了行动空间并提高了学习效率。实验表明，与在不确定性下的确定性规划相比，我们的鲁棒预到达框架可将成本降低4-13%，而API-H-mSAC在解决方案质量和收敛性方面优于基准算法。这项工作为在船舶到达前必须做出承诺的鲁棒和低碳港口运营提供了决策支持工具。

**引言**
全球贸易系统在很大程度上依赖于海上运输，至少80%的国际贸易货物通过海上运输（联合国贸易和发展会议，2022年）。这一庞大物流链的有效性和环境可持续性在很大程度上取决于其港口的表现。然而，这些枢纽处日益严重的拥堵和运营故障削弱了全球供应链的可靠性。为此，国际海事组织（IMO）制定了该行业的碳减排路线图，目标是在本世纪中叶实现净零温室气体排放（IMO，2023年）。

在这种背景下，集装箱码头面临着在保持运营绩效的同时减少碳足迹的紧迫需求。岸电（OPS）是减少泊位排放的关键技术解决方案。上海和宁波-舟山等主要港口的OPS覆盖率已超过70%。然而，实际利用率仍然较低，主要是因为全球只有大约20%的船舶配备了岸电接收系统。除了推动船舶改造外，有效减排还要求尽可能将兼容OPS的船舶分配到具备OPS能力的泊位。

尽管如此，船舶运营极易受到天气条件、港口拥堵和调度调整等不确定性的影响。不确定的船舶到达时间会严重扰乱泊位分配计划和堆场空间安排。虽然随着船舶接近港口，到达时间的估计会变得更加准确，但诸如泊位分配和堆场存储安排等关键码头决策通常需要提前很久做出。这是因为出口集装箱需要在船舶到达前在堆场运输和堆放，这需要一个预先确定的存储计划。此外，必须预先分配泊位和岸电资源，以确保运营可行性并最大化OPS利用率。例如，如果一艘配备OPS的船舶延误，它可能会失去分配给它的具备OPS功能的泊位，从而导致继续依赖船用燃料和更高的碳排放。同时，延迟的船舶往往会导致堆场出现连锁拥堵，因为预先分配的存储空间无法及时释放，迫使存储分配更加分散，增加了水平运输距离。

因此，我们的研究重点关注预到达规划阶段，在这一阶段到达时间的不确定性仍然很大，必须在确切到达时间之前制定一个鲁棒的计划。这种方法符合现实世界码头运营周期的特点，即在滚动时间范围内进行规划：决策是随着时间顺序做出的，并且随着运营的展开和新信息（如实际船舶出发和资源释放）的获得而动态更新。这种顺序性和适应性决策过程，其特征是系统状态（如泊位和堆场可用性）的变化以及早期决策结果的延迟，自然构成了一个马尔可夫决策过程（MDP）。这种结构使得强化学习（RL）成为特别适合的方法，因为RL擅长通过互动和反馈在复杂、随机和动态的环境中学习最优的顺序决策策略。

然而，尽管RL范式非常适合这种顺序决策情境，但在大规模港口环境中优化此类调度存在显著的算法挑战：（1）泊位和堆场分配的联合行动空间随着船舶和资源数量的增加而呈组合增长，使得标准RL智能体难以直接进行策略学习；（2）船舶到达时间的广泛不确定性进一步复杂化了调度问题。为了解决这些挑战，本文提出了一种在船舶到达时间不确定的情况下，联合安排泊位和堆场空间的鲁棒优化框架，同时明确考虑了OPS使用机会和碳排放成本。与需要明确分布假设且经常遭受场景爆炸问题的随机规划不同，鲁棒优化在这里特别适用，因为预到达阶段的船舶到达时间不确定性是非统计的且无分布的，可以在定义的不确定性范围内对冲最坏情况。此外，最小-最大鲁棒目标自然映射到一个双人零和马尔可夫博弈，使得对抗性强化学习成为解决这一问题的自然计算引擎。为了有效解决这一大规模、顺序性和不确定性的问题，我们提出了一种新颖的对抗性强化学习方法，称为对抗性策略迭代与分层多智能体软演员-评论家（API-H-mSAC）。该方法利用了滚动时间范围操作的MDP表述：主角智能体根据当前状态学习做出泊位和堆场分配决策，而对手智能体学习生成具有挑战性的到达时间场景。通过对抗性训练，主角被迫学习一种能够抵御最具破坏性的到达模式的策略。带有锚点机制的分层结构进一步分解了复杂的行动空间，极大地提高了学习效率和可扩展性。

**主要贡献**
1. 我们开发了一个在连续泊位布局下的综合优化模型，该模型考虑了OPS的兼容性和碳税成本，协调泊位分配和堆场空间分配，以降低总体运营和环境成本。
2. 鉴于船舶到达时间的不确定性是非统计且不可追溯的，我们采用了最小-最大鲁棒优化方法来防范最坏情况。
3. 我们设计了API-H-mSAC算法，将该问题表述为一个双人零和马尔可夫博弈，并通过对抗性策略迭代学习鲁棒策略。
4. 为主角智能体量身定制了一个带有锚点机制的分层学习架构，分解了原始问题并大幅减少了行动空间。

**论文结构**
本文分为七个部分。引言之后，第2节进行了文献综述。第3节定义了问题，概述了研究范围和目标。第4节介绍了鲁棒优化模型，第5节详细介绍了定制的API-H-mSAC算法。第6节讨论了实验结果及其管理意义。第7节以最终评论结束。

**泊位和堆场分配的综合优化**
由于单独做出这些决策的固有局限性，泊位和堆场分配的综合优化引起了学术界的广泛关注（Tang等人，2025年）。Zhen等人（2011年）的早期研究通过开发一个混合整数规划模型，同时规划泊位定位和存储空间分配，以减少服务和运营费用，该模型使用自定义启发式方法求解。Wang等人（2018年）合并了堆场模板……

**问题描述**
本研究旨在开发一个综合且鲁棒的泊位分配、OPS分配和堆场存储分配计划，明确考虑船舶到达时间的不确定性。目标是在最坏情况下最小化总成本，包括服务延迟、碳税和水平运输费用，同时确保运营可行性。

**数学模型**
本节提出了一个用于鲁棒BYAOP问题的数学优化模型，正式结构化为马尔可夫决策过程（MDP）。该模型定义了系统状态、决策变量、状态下的即时成本和不确定性下的成本，以及控制系统演变的约束条件。这为第5节详细介绍的API-H-mSAC算法提供了精确的数学基础。

**API-H-mSAC算法**
基于第4节建立的数学模型，该模型将不确定船舶到达时间下的鲁棒泊位、堆场和OPS分配问题（BYAOP）表述为一个MDP，本节开发了一个定制的解决方案算法。该模型定义了系统状态、决策变量、即时成本和控制约束，为滚动时间范围内的顺序决策过程提供了正式基础。由于规划涉及船舶到达前的承诺……

**数值分析**
本节进行了实验，以评估所提出的鲁棒BYAOP方法和API-H-mSAC算法的有效性。该算法使用Python 3.8和Pytorch实现，所有数值实例都在配备Intel Core i7-3930K处理器的PC上执行。

**结论**
本研究解决了在不确定船舶到达时间下，综合和鲁棒泊位和堆场空间分配的关键挑战，同时明确考虑了OPS使用和碳排放成本。面对大规模港口优化的计算复杂性和船舶到达时间的非统计性质，我们提出了一种新颖的最小-最大鲁棒优化模型，并使用提出的对抗性强化学习算法API-H-mSAC有效解决了该问题。

**关键发现总结**

**作者贡献声明**
王文思：撰写——原始草案、方法论、资金获取、概念化。
尹天润：调查、数据整理。
姚宝珍：验证、形式分析。
宋志坤：撰写——审阅与编辑。

**利益冲突声明**
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

**致谢**
本研究得到了国家自然科学基金（52302403）的支持。