王龙岩|林森阳|叶凌健|杨泽宇|李英道|沈飞凡|袁晓峰
中国浙江省湖州市湖州大学工程学院工业系统智能感知与最优控制重点实验室，313000
摘要
本文研究了复杂动态工业过程中质量变量的多步预测问题。提出了一种基于Seq2Seq双注意力长短期记忆（LSTM）的软传感器模型，并结合了不确定性量化技术。该模型由编码器和解码器组成，两者均采用Seq2Seq建模方法实现有效的特征表示。在编码器部分，通过空间注意力机制增强了常规LSTM网络的功能，以提取关键特征；在解码器部分，则引入了时间注意力机制，以全面捕捉序列间的动态依赖关系，从而识别出内在的时间模式。为了解决多步预测过程中的不确定性及误差传播问题，我们利用贝叶斯神经网络（BNN）提出了一种新的不确定性量化方法。最后，通过在两个真实工业过程数据集（二氧化碳吸收塔和甲烷化炉）上的实验验证了该模型的可靠性和鲁棒性。
引言
在现代工业生产中，及时准确地监测关键质量变量对于确保系统的有效运行至关重要。然而，在实际生产过程中，许多关键质量变量无法直接测量[1]。因此，软传感器的目标是利用易于获取的过程变量来预测这些关键质量变量[2]。与传统直接测量方法相比，软传感器具有响应速度快、成本低、操作安全等优点[3]。
现有的软传感器建模方法主要分为三类：基于机理的方法、基于知识的方法和基于数据的方法[4],[5]。前两种方法适用于已知详细操作机理或拥有丰富先验知识和经验的工业过程；而基于数据的方法则无需完全了解过程机理[6],[7]，可以直接从过程数据中对系统进行建模，尤其适用于难以分析的复杂过程[8],[9]。因此，基于数据的方法已成为现代工业过程建模的主流方法。
近年来，随着深度学习技术的发展和广泛应用，基于深度学习的软传感器建模方法在性能上超越了基于机理和知识的方法[10],[11]。例如，半监督堆叠自编码器（SS-SAE）可以从标记和未标记数据中提取与质量相关的深度特征[12]；堆叠同构自编码器（SIAE）通过强制每一层重构原始输入数据来减少深度特征的信息丢失[13]；时空注意力LSTM（STA-LSTM）专注于关键特征以提高预测性能[14]；多属性空间LSTM（MAS-LSTM）构建多属性特征以增强数据表示能力[15]；时间卷积网络（TCN）利用因果卷积有效捕捉长期时间依赖关系[16]；基于门控卷积神经网络的Transformer（GCT）用门控机制替代自注意力机制，从而降低计算复杂度[17]。基于深度学习的软传感器能够为难以直接测量的关键变量提供高度准确和及时的预测结果[18]。
然而，在当前的软传感器研究中，大多数现有模型仅能预测当前时间步的质量变量，或者最多只能进行一步预测[19]。但许多工业过程具有较大的时间常数和显著的延迟，这使得传统的单步预测方法在后续控制和优化中效率低下[20]。为了解决这些问题，开发了基于多步预测的软传感器，以预测更长时间范围内的未来状态。这种方法可以提供更早的反馈，增强控制系统的调整能力，从而有效补偿过程动态变化。然而，与一步预测相比，多步预测面临更多挑战[21],[22]，通常会出现误差累积、预测精度下降以及预测时间步数增加时不确定性增大的问题[23],[24],[25]。
文献中提出了三种主要的多步预测策略[26]：递归多步预测、直接多步预测和多输入多输出（MIMO）多步预测，如图1所示。递归多步预测策略只需训练一个模型，通常较为简单；但下一步的预测结果需要作为输入用于预测后续步骤，导致误差快速累积和预测精度下降。直接多步预测策略可以避免误差传播，但需要为每个时间步分别训练独立的模型，消耗更多计算资源，并忽略了时间步间的相关性[27]。MIMO多步预测策略使用一个模型同时输出整个预测范围的结果，从而避免了误差累积；此外，该模型还可以学习并利用不同输出步骤之间的内在依赖关系[28]。本文提出了一种基于MIMO策略的新多步预测软传感器。该模型采用Seq2Seq架构，由编码器和解码器两部分组成：编码器将输入序列压缩为固定上下文向量，解码器利用学习到的特征生成多个未来时间步的预测结果。为了更好地提取序列数据中的时间依赖关系，模型采用了LSTM作为编码和解码结构；同时，双注意力机制的引入使模型能够更关注变量间的动态相关性，捕获更多关键信息，显著提升了长序列建模能力。实际上，工业过程存在多种不确定性，这些不确定性会对预测结果产生负面影响[29]。为更有效地量化这些不确定性，编码器-解码器架构中采用了BNN。本文的主要贡献包括：
- 提出了一种基于Seq2Seq的架构，用于动态工业过程中质量变量的多步预测，该策略允许软传感器充分考虑变量间的序列关系。
- 采用双注意力（空间和时间）LSTM机制有效捕捉长序列变量间的相关性。
- 引入BNN进行质量预测的不确定性量化。
- 系统地设计了所提出的方法，并在两个真实动态工业过程中进行了实验验证。
本文的后续部分结构如下：第2节简要介绍LSTM和BNN的基础知识；第3节详细介绍所提出的Seq2Seq-STA-BayesLSTM模型；第4节讨论贝叶斯神经网络的不确定性量化方法；第5节在两个真实动态工业化学过程中验证该模型；第6节总结本文的结论。
章节片段
预备知识
本节介绍了LSTM和BNN的理论基础，这些是所提出软传感器模型的基础组成部分。
编码器-解码器架构
本文提出了一种基于Seq2Seq架构的多步预测软传感器不确定性量化模型，该模型采用了时空注意力机制（Seq2Seq-STA-BayesLSTM）。首先介绍整体架构（如图4所示），其基本结构包括编码器和解码器两部分。后续小节将详细阐述该模型的具体实现。
编码器
编码器包含三个主要部分：输入层、空间注意力层……
利用贝叶斯神经网络进行不确定性量化
预测不确定性通常分为两类：认知不确定性和随机不确定性[45],[46]。认知不确定性是指由于模型参数的不确定性导致的预测不确定性[47]。传统神经网络的权重参数是确定的，无法直接捕捉认知不确定性，因此采用BNN进行建模，将权重参数视为概率分布进行处理。
案例研究
本节旨在验证Seq2Seq-STA-BayesLSTM多步预测软传感器模型在动态工业过程中的性能。为此，使用两个真实世界化学过程数据集进行了对比实验。软传感器模型的多步预测包括两个主要阶段：模型训练和性能测试（如图5所示）。
在训练阶段，首先对训练数据进行预处理……
结论
本文提出了一种用于工业过程多步预测的新型Seq2Seq双注意力贝叶斯动态软传感器。该模型利用Seq2Seq学习机制动态调整输入和输出序列的长度，通过编码器-解码器模块中的时间和空间注意力机制更好地捕捉序列间的动态依赖关系，并优先处理关键信息。LSTM结构有助于有效建模……
CRediT作者贡献声明
王龙岩：撰写初稿、可视化处理、验证工作及方法论设计。林森阳：撰写内容、审稿与编辑。叶凌健：撰写内容、审稿与编辑、指导工作及方法论设计。杨泽宇：指导工作。李英道：撰写内容、审稿与编辑、指导工作。沈飞凡：研究工作、撰写内容、审稿与编辑。袁晓峰：指导工作。
利益冲突声明
作者声明不存在可能影响本文研究的已知财务利益或个人关系。
