基于深度Q网络的醋酸乙烯酯分离墙柱的能量优化

《Computers & Chemical Engineering》：Energy optimization of a vinyl acetate dividing-wall column based on deep Q-Network

乙烯基醋酸（VAC）生产中采用分壁塔（DWC）替代传统多塔流程，结合深度Q网络（DQN）实现多目标优化。通过Aspen Plus建立双塔等价模型，优化塔板数、回流分馏位置等8个变量，在保持产品纯度≥99.95%前提下，总能耗降低53.06%（相比原流程），且侧线产品收率仅轻微下降。

　　

姚和|于东明|赵克新|江洪波

中国华东理工大学石油加工研究所，上海

摘要

本研究探讨了工业醋酸乙烯（VAC）装置中的轻组分去除塔序列，这是整个工艺中能耗最高的环节之一。为了提高效率，提出使用分壁塔（DWC）替代原有的塔序列，并结合基于深度Q网络（DQN）的多目标运行优化策略。建立了DWC的Aspen Plus两塔等效模型，对八个决策变量进行了优化：不同塔中的总塔板数、气相和液相分离塔板位置、气相和液相回流流量、回流比以及产品侧流流量。定义了一个以再沸器负荷、侧流流量和产品纯度为指标的标准化加权多目标函数，要求产品纯度至少达到99.95%。为应对DWC的结构复杂性及手动调优的局限性，采用DQN–Aspen耦合方案，并通过“局部小盒子-全局大盒子”两阶段训练策略以及与稳态模型的直接交互进行离线训练。将传统的轻组分去除塔序列转换为DWC后，总能耗降低了33.19%，同时产品纯度基本保持不变。在此基础上，与初始DWC运行相比，两阶段DQN进一步将能耗降低了29.74%，总体节能效果达到53.06%，而侧流产量仅有轻微下降。训练好的模型随后可用于预测模式，快速推荐节能的VAC分离操作调整方案。

引言

醋酸乙烯（VAC）是有机化学工业中的重要原料，广泛用于生产聚醋酸乙烯乳液、聚乙烯醇、粘合剂、涂料等产品，市场需求稳定且庞大（Cheng, 2008）。目前，工业生产主要依赖于乙烯气相氧化路线。尽管该工艺具有高选择性和长催化剂寿命的优点，但其流程复杂且能耗较高。在典型的石化装置中，蒸馏部分的能耗占总能耗的70%以上（Yu et al., 2024）。传统的VAC工艺通过多塔串联来实现高纯度产品，这种配置涉及大量设备，能耗高且热量损失大。为降低能耗，业界引入了分壁塔（DWC）技术。DWC技术通过减少关键组分的混合，能够在单个塔内实现多组分分离，从而达到“用一个塔替代多个塔”的效果，从而降低设备投资和能耗。

DWC的内部结构非常复杂，气相和液相回流塔板位置、气相和液相回流流量、分离位置以及塔板数量之间存在强烈的非线性耦合（Li et al., 2024）。以某石化公司的乙烯基醋酸乙烯生产装置为例，其净化过程通常采用传统的两塔串联配置，具有相似的进料条件、操作压力以及中间组分的塔内分离。从工艺合成和热耦合蒸馏理论来看，这种配置可以等效地重构为Petlyuk型或Kaibel型DWC，共享再沸器并减少混合-蒸发损失，从而进一步降低能耗和年成本，同时保证产品纯度。然而，关于VAC系统DWC的系统设计和优化研究仍相对较少，特别是如何快速高效地确定最优运行参数的研究较为缺乏。

传统上，蒸馏过程的稳态设计和运行优化通常采用基于非线性规划（NLP）和混合整数非线性规划（MINLP）的确定性优化算法，这些方法已广泛应用于分壁塔结构和操作的优化。例如，Franke使用MINLP方法比较了传统蒸馏和DWC的年总成本（TAC），并采用改进的广义Benders分解算法进行求解，从而系统地筛选不同的DWC结构方案并进行经济评估（Franke, 2017）。Rawlings等人提出了针对Kaibel型DWC的分阶段精确模型，利用NLP/MINLP和广义析取规划（GDP）集成优化塔板数量、进料和侧流塔板位置及操作条件（Rawlings et al., 2019）。Tobias等人进一步提出了大规模NLP公式，能够同时模拟和优化多个DWC。通过将某些工艺变量作为决策变量，并对剩余变量使用稳健的分阶段计算程序，提高了复杂DWC系统优化的稳定性和收敛性（Tobias et al., 2022）。然而，面对包含离散结构变量（如塔板数量）和连续操作变量（如回流比和流量）的混合决策问题，确定性方法在处理高非线性约束、保证解的稳定性以及避免局部最优解方面仍存在局限性。

近年来，越来越多的研究人员采用随机算法（如遗传算法和粒子群优化）对蒸馏过程进行全局优化，尤其是针对DWC。例如，Ye等人基于GA-BP替代模型提出了蒸馏塔的智能设计方法，显著减少了优化所需的计算时间（Ye et al., 2023）。Li等人比较了多目标遗传算法（MOGA）、多目标差分进化-禁忌搜索组合（MODE-TL）和多目标粒子群优化（MOPSO）在六种三元DWC结构中的能量和年总成本权衡优化中的应用效果，指出了不同算法在收敛速度和全局搜索能力上的差异（Li et al., 2024）。Wang等人使用多目标遗传算法优化了液相传递萃取分壁塔（LTS-EDWC）的结构和操作参数，目标是总塔板数和再沸器负荷，并进一步比较了各种控制结构的动态性能（Wang et al., 2025）。总体而言，这些随机启发式算法能够在复杂和非线性设计空间中实现最优或接近全局最优的解决方案，但通常依赖于大量的离线仿真评估，这导致计算成本较高，难以直接应用于复杂操作条件下的实时决策和策略更新。

深度强化学习（DRL）近年来在复杂过程系统的优化和控制中引起了关注。深度Q网络（DQN）利用深度神经网络近似状态-动作价值函数，无需显式过程模型即可直接从交互数据中学习近似最优策略。与遗传算法和粒子群优化等离线启发式方法相比，DQN结合了策略搜索和函数逼近能力，能够处理高维状态空间和离散动作，具有更好的样本效率和泛化能力。现有文献表明，DWC的运行优化和控制研究仍主要依赖于确定性优化和智能启发式方法，尚未有系统性的研究关注带有DWC的VAC系统，并使用基于DQN的DRL进行自动运行优化。因此，将DQN应用于VAC DWC有望为这类强耦合的蒸馏过程提供一种新的自学习优化方法。

本研究基于某石化厂成熟的商业化VAC蒸馏装置，提出了一种基于分壁塔的节能改造方案，并将深度强化学习融入运行优化中。通过将优化后的条件与工厂现有运行方式对比，在严格的VAC产品质量约束下定量评估了该方案的节能和增产潜力。从DQN算法的搜索机制和蒸馏过程的物理行为两个互补角度阐明了优化方案的合理性和工程可行性。

工艺流程

工艺流程

本案例研究关注的是石化醋酸乙烯（VAC）装置的蒸馏部分。工艺流程图如图1所示。该装置采用乙烯气相氧化路线。反应器部分后的流出物首先被送入脱酸塔，然后再进入轻组分去除塔，生成富含VAC并含有少量乙醛、乙酸甲酯、乙酸乙酯等副产品的粗VAC流。

基于DQN的多目标优化

本研究采用深度Q网络（DQN）框架来优化DWC工艺。选择离散动作的DQN而非连续动作的强化学习方法，是因为DWC设计的混合整数特性以及基于价值的RL在与Aspen Plus中的稳态求解器接口时具有更好的数值稳定性。这种方法也符合工业控制系统中的逐步设定点调整逻辑。

工艺方案比较

为了定量比较不同工艺流程和优化策略对装置性能的影响，表5总结了传统两塔蒸馏的主要参数、DWC的初始运行点以及通过两阶段DQN优化得到的运行点。比较内容包括总塔板数、回流分配比例、侧流产品流量、能耗和VAC纯度。

如表5所示，仅替换传统...

结论

• 基于工业VAC装置的混合物组成和分离要求，在Aspen Plus中建立了相应的稳态两塔等效DWC模型，该模型反映了现有轻组分去除塔和产品塔的分离功能。通过将模拟得到的VAC纯度、总再沸器负荷和产品分离性能与工业蒸馏序列的实际运行数据进行比较，发现...

资助

本研究未获得公共部门、商业机构或非营利组织的任何特定资助。

数据可用性

本文中使用的工业装置数据已包含在内。由于保密原因，其他专有工业数据不对外公开。本研究生成的模拟数据可应要求向相应作者索取。