一种多源注意力图神经网络，用于建模化学过程预测中的长期和短期依赖关系

《ADVANCED ENGINEERING INFORMATICS》：A Multi-Source Attention Graph Neural Network for modeling long and short-term dependencies in chemical process forecasting

化工过程软测量中，MSAGNN通过静态图与动态图结构融合，结合多源注意力机制捕捉时空依赖，在Debutanizer Column、Tennessee Eastman和Fluid Catalytic Cracking三过程中验证，RMSE、MAE、MAPE均优于SOTA方法。

　　

作者：姜龙、王斌、彭海飞、张恒民

华东理工大学能源化工过程智能制造重点实验室，中国上海梅龙路，200237

摘要

化学过程数据既表现出长期的物理依赖性，也由于变量之间的复杂相互作用而存在短期的动态变化。为了同时建模这些异质性依赖性，本文提出了一种用于化学过程软传感的多源注意力图神经网络（MSAGNN）。MSAGNN采用双路径图循环架构，其中静态图编码了先前的物理关系，而自适应图结构学习模块则动态捕获数据中的时变相关性。进一步引入了多源注意力机制来整合节点和邻域信息，以增强时空依赖性的表示。在三个代表性工业过程上对MSAGNN进行了评估，包括脱丁烷塔（DC）过程、田纳西东曼（TE）过程和流化催化裂化（FCC）单元。实验结果表明，MSAGNN在均方根误差（RMSE）、平均绝对误差（MAE）和平均绝对百分比误差（MAPE）方面均优于现有的深度学习和基于图的模型，证明了其卓越的预测准确性和鲁棒性。学习到的动态图和注意力分数的可视化表明，MSAGNN能够揭示有意义的变量相互作用，证实了该方法在复杂化学过程中的有效性和可解释性。

引言

在现代工业过程中，实时监控关键质量变量对于确保生产效率、产品质量和过程安全至关重要[1]。作为一种关键技术，软传感通过建模难以测量的目标变量与易于测量的辅助变量之间的关系来促进在线估计[2]，可分为两种类型：机制建模和数据驱动建模[3]。机制建模依赖于物理和化学方程，提供了清晰的可解释性，但在复杂工业过程中常常面临机制知识不足或计算复杂性高的挑战[4]。相比之下，数据驱动方法通过从历史数据中提取隐含模式来开发模型，避免了复杂机制建模的挑战，并适用于具有强多变量耦合和非线性的工业系统。

传统的数据驱动软传感方法，如线性回归（LR）[5]、偏最小二乘法（PLS）[6]和支持向量机（SVM）[7]，在简单操作条件下通常表现良好。然而，化学过程往往涉及复杂的反应和变量之间的强耦合，这些方法在处理高维、非线性和动态数据时面临重大挑战[8]，从而限制了它们的预测准确性。为了解决这些限制，已经应用了深度学习方法，如长短期记忆网络（LSTM）[9]、卷积神经网络（CNN）[10]和时域卷积网络（TCN）[11]，因为它们具有更强的建模能力。尽管这些方法在软传感应用中显示出潜力，但随着过程变量数量的增加，挑战仍然存在。具体来说，它们往往难以捕捉复杂的变量间依赖性，无法利用工业系统中固有的空间分布的机制信息，并且可解释性有限[12]。

图神经网络（GNN）利用图结构来表示输入变量之间的连通性，从而在消息传播过程中实现有效的数据聚合。在工业过程建模中，传感器通常表示为节点，边是根据专家知识[13]、工程图[14]或相关矩阵[15]等标准定义的。这种基于图的表示允许将与物理系统中变量空间分布相关的机制信息纳入模型[16]。然而，大多数基于GNN的软传感方法依赖于静态图结构，而在实践中，过程变量之间的关系往往是动态的。如图1所示，由于传感器间相互作用的演变，工业系统中变量之间的连通性会随时间变化。除了短期动态行为外，变量关系还常常表现出长期的内在属性[17]，例如位于工厂不同单元的传感器之间的持续物理连接（例如通过管道），这反映了稳定的空间依赖性。尽管一些最近的研究引入了动态图来捕捉变量关系中的时间变化[18]、[19]，但很少有研究同时在软传感应用中同时建模短期动态和长期结构依赖性。

数据聚合是GNN中信息传播的核心机制，使得连接节点之间的信息交换和更新成为可能。在化学过程中，变量之间存在复杂的耦合关系。例如，产品形成不仅受反应物浓度的影响，还受催化剂含量、温度和压力等因素的影响。然而，大多数图注意力机制仅关注成对节点关系，常常忽略了其他影响目标变量的邻近节点的影响。这种简化可能导致建模的节点间依赖性与实际过程动态之间的不一致。

总之，本文提出了一种多源注意力图神经网络（MSAGNN），用于建模化学过程中的长期和短期依赖性。为了解决短期动态变化和长期内在属性的共存问题，构建了一个双路径图循环神经网络，结合了基于专家知识的静态图和动态学习的图结构。此外，为了将相邻变量的影响纳入变量间依赖性的建模中，引入了多源注意力机制以增强图注意力计算。本工作的关键贡献如下：

1. 提出了一个双图学习框架，以同时捕获过程变量之间的长期物理依赖性和短期动态相互作用。

2. 开发了一种多源注意力机制，在计算注意力分数时考虑了周围节点的影响，从而改进了复杂工业过程关系的表示。

3. 在三个典型的化学过程数据集上进行的全面评估表明，MSAGNN在预测性能上优于现有最先进方法（SOTA），同时提高了结果的可解释性。

相关工作

相关研究

本节回顾了图神经网络（GNN）的发展及其在软传感中的应用。作为数据驱动建模的一种形式，GNN能够在学习架构中嵌入变量间关系、潜在的过程动态和领域专业知识[20]。它们已被广泛应用于推荐系统[21]、生物信息学[22]和交通系统[23]等领域。在工业过程中，传感器是空间分布的，通常

初步介绍

本文关注化学过程的软传感器建模。在本节中，我们介绍了一些相关定义和问题描述。

定义1 传感器数据

给定从设备内的$T$个时间步长内收集的历史测量数据，来自$N$个传感器节点，采样数据表示为$X=[x_1,x_2,\; \dots \dots ,x_N,\in R^N$，其中$x_i=[x_i^1$对应于由第$T$个传感器记录的步数据序列。

定义2 图

传感器节点之间的关系可以用图来表示：$G=(V,E$，其中$V$表示集合

方法论

首先介绍了所提出架构的概述，然后详细描述了每个组成部分。

评估指标和实现细节

为了评估MSAGNN的有效性，对三个代表性化学过程进行了实验：脱丁烷塔（DC）过程、田纳西东曼（TE）过程和流化催化裂化（FCC）过程。使用四个指标来评估结果：均方根误差（RMSE）、平均绝对误差（MAE）、平均绝对百分比误差（MAPE）和R²。所有实验都在Python 3.8环境下实现，并在配备Intel i5-12490 CPU（2.8 GHz）、32 GB RAM和NVIDIA GeForce RTX 4060 Ti GPU的个人计算平台上进行。

结论

本文提出了一种用于化学过程软传感的MSAGNN，通过联合建模（1）由静态先验图编码的时不变物理依赖性和（2）通过自适应图模块学习的时变相互作用。双路径图循环设计整合了这些互补结构，多源注意力机制增强了时空依赖性的建模。在三个工业数据集（DC、TE和FCC）上的实验表明，MSAGNN始终表现出色

CRediT作者贡献声明

姜龙：撰写——审稿与编辑、撰写——原始草稿、可视化、验证、方法论、形式分析、数据整理。王斌：撰写——审稿与编辑、撰写——原始草稿、可视化、验证。彭海飞：项目管理、方法论、形式分析、概念化。张恒民：可视化、资源管理、方法论、调查、资金获取、数据整理。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金（资助编号：62373155、52470074）的部分支持，部分得到了国家优秀青年科学家基金计划（海外）和上海数据科学重点实验室开放项目（资助编号：2025090600010）的支持。

姜龙：2012年在中国华东理工大学获得化学工程博士学位。2012年至2013年，他在石油与石化研究院担任工程师。2013年至2015年，他是华东理工大学的博士后研究员。2015年至2019年，他在华东理工大学信息科学与工程学院担任讲师。