在饮用水处理中,利用具有领域认知能力的深度学习框架进行精细时间过滤浊度预测
《Desalination and Water Treatment》:Fine-Temporal Filtration Turbidity Prediction in Drinking Water Treatment Using a Domain-Aware Deep Learning Framework
【字体:
大
中
小
】
时间:2026年05月11日
来源:Desalination and Water Treatment 1
编辑推荐:
李恩宋(Eunseong Lee)| 朴圭万(Gwiman Bak)| 朴永哲(Youngchul Bae)
韩国全南大学电气与半导体工程系,丽水市
**摘要**
在饮用水处理过程中,过滤期间浊度波动的短期预测对于确保稳定运行和水质安全至关重要。本研究提出了一种基于
李恩宋(Eunseong Lee)| 朴圭万(Gwiman Bak)| 朴永哲(Youngchul Bae)
韩国全南大学电气与半导体工程系,丽水市
**摘要**
在饮用水处理过程中,过滤期间浊度波动的短期预测对于确保稳定运行和水质安全至关重要。本研究提出了一种基于15分钟间隔时间序列数据的过滤阶段浊度精细时间预测框架,重点关注领域感知的特征设计。该框架采用了一种并行收敛的正负卷积感知器-卷积神经网络(P2C-PC)模型,将变量级特征提取与基于CNN的时间积分相结合。模型使用了九个水质和运行变量,其中包括沉淀池浊度变化率(ΔSB),该变量用于表征上游的短期浊度变化。数据集包含来自单一饮用水处理厂的33,401条预处理记录。在评估的单厂低浊度运行条件下,P2C-PC模型的测试均方根误差(RMSE)为0.0088 NTU,低于基线模型、对比模型和消融模型的预测误差。尽管ΔSB与FS浊度之间的线性相关性较弱(r = 0.01),但消融结果表明包含ΔSB可以提高预测性能。进一步的解释性分析表明,其贡献与多变量和时间依赖的特征交互作用有关。该框架为旨在提升操作员意识和进行过滤阶段短期监控的决策支持应用提供了实用基础。
**1. 引言**
清洁饮用水的可靠供应是公共健康和社会稳定的基础。因此,饮用水处理厂(DWTP)是至关重要的国家基础设施,必须高效且可靠地运行[1]、[2]、[3]。近年来,由于气候变化和城市化,源水质量的不确定性增加,使DWTP的运行复杂性加剧[3]、[4]、[5]。这些变化直接影响浊度,而浊度是水质管理的关键参数。浊度是指由悬浮颗粒引起的水体浑浊程度,是衡量处理效率和最终水质的重要指标[6]、[7]。当浊度超过规定阈值时,微生物去除效率会降低,氯消毒效果也会减弱,从而威胁饮用水的安全[8]、[9]。因此,开发能够进行短期浊度预测并支持及时运行监测的系统变得越来越重要。
大多数现有的DWTP浊度预测研究集中在原水和沉淀池阶段[10]、[11]、[12]、[13]。在这些阶段,长时间的水力停留时间和逐渐变化的时间特性使得可以通过每小时或每天收集的数据相对准确地预测混凝剂投加量和沉淀后水的浊度[14]、[15]、[16]、[17]、[18]。相比之下,过滤阶段的运行动态完全不同。反冲洗后立即发生的颗粒反弹和流速的突然变化可能导致浊度在几分钟内剧烈波动[19]、[20]、[21]。由于过滤后没有进一步的净化过程,如果这一阶段出现未检测到的异常情况,可能会导致受污染的水直接输送给消费者。因此,美国环保署(EPA)和韩国环境部都建议在反冲洗后15分钟内将浊度保持在0.1 NTU以下[22]、[23]。这些要求凸显了针对过滤过程定制的精细时间、短期浊度预测的必要性。
在更广泛的预测和时间序列预测研究中,时间分辨率是预测性能的关键决定因素。低分辨率数据会平滑短期突发事件,导致信息丢失[24]、[25]。在DWTP中,由于各处理阶段的具体动态特性,这一限制更加明显。图1展示了水处理过程中过滤阶段的采样位置。预过滤点对应于沉淀池中的水,其中悬浮固体在相对较长的水力停留时间内逐渐减少。而过滤站点则几乎立即接收到这些水,并经历快速过滤,从而更直接地反映上游水质的变化。这种动态特性使得过滤阶段对短期波动特别敏感,因此需要高分辨率的监测来进行短期浊度预测。
**2. DWTP和数据准备**
本研究以位于韩国全罗南道顺天市的Juam饮用水处理厂(DWTP)为例。原水通过位于Boseong河上Juam大坝下游约0.7公里处的Juam进水站流入处理厂,该厂的设计处理能力约为每天3,500立方米。该厂作为市政饮用水处理厂,为当地社区提供服务。处理过程包括混凝、絮凝、沉淀和快速过滤。处理后的饮用水供应给Seungju-eup和Juam-myeon地区。
图3展示了DWTP各处理阶段的水质测量采样点。该厂包括六个主要阶段:进水井(IW)、混合池、混凝池、沉淀池(SB)、过滤站点(FS)和清水井。与通过较长水力停留时间进行沉淀的沉淀池(SB)不同,过滤站点(FS)通过快速物理过滤处理水,并能立即响应操作干扰带来的浊度变化。处理后的水随后储存在清水井中。
**3. 结果与讨论**
**4. 结论**
本文总结了所提框架的性能评估结果、实际应用考虑因素及局限性。
**5. 下载**
- 下载高分辨率图像(61KB)
- 下载全尺寸图像
**图1. DWTP流程示意图及关键采样位置**
**6. 结论**
本研究提出了一种利用15分钟间隔时间序列数据的并行收敛正负卷积感知器-卷积神经网络(P2C-PC)模型,该模型能够捕捉短期浊度变化。该模型引入了正负卷积(PNC)层,将正负感知器(PNP)概念扩展到基于CNN的框架中,分别学习正负特征分量,从而改进了模型对浊度上升和下降变化的表征能力,同时保留了短期时间动态。然后通过一维卷积网络(1D-CNN)进行特征集成,使模型能够捕捉处理过程的时间连续性和相互作用。
本研究的主要贡献可归纳为三点:
1. 所提模型架构支持15分钟间隔的精细时间短期预测,相比基于较粗时间间隔的模型,能够更准确地表示短期浊度变化;
2. 该模型引入了沉淀池浊度变化率这一衍生特征,为基于水平的输入变量补充了动态时间信息,用于表征上游浊度的短期变化;
3. 该模型基于超过30,000条针对过滤过程定制的SCADA时间序列数据进行开发,并在相同的单厂运行条件下与多个基线模型、对比模型和消融模型进行了评估。
图2概述了本研究的整体工作流程,包括基于SCADA的数据准备、模型构建与训练以及过滤站点浊度预测的性能评估。第2节介绍了多变量时间序列数据的预处理过程,包括时间滞后对齐、异常值去除、缺失值插值、衍生特征生成和标准化。第3节阐述了所提出的P2C-PC模型及在相同条件下训练的对比模型。这一原则构成了城市污水处理厂(DWTPs)中常规混凝剂投加实践的基础,并通过一个基于SCADA的简化控制方程在該设施中得到实施,该方程包括了泵的校正因子[34]、[35]。方程(2)展示了水处理厂使用的混凝剂投加控制公式,其中包含了泵的校正因子。(2)CD=FR×R?A这里,CD表示混凝剂投加量(mg/L),FR代表流速(m3/h),R是根据浊度确定的参考值(mg/L),A是泵的调整因子。A的值为固定的校正系数0.01。参考值R是根据SCADA控制逻辑中定义的浊度范围确定的,这些范围是使用罐式试验结果建立的。方程(2)是根据方程(1)中表达的物理原理推导出来的,并在工厂的SCADA控制逻辑中实现。在该设施中,使用聚铝羟基氯化硫酸盐(PAHCS)作为混凝剂[36]。在这项研究中,控制公式被用来重建传感器故障期间CD的值。大约7.58%的CD数据是根据工厂的操作控制逻辑进行校正的。尽管简化的控制方程可能平滑了一些短期波动,但重建的值仍然受到过程变量的影响,因此保持了整体的动态行为。因此,预计它对CD的变化性和FS浊度预测的影响在本研究的范围内是有限的,尽管在多样化的操作条件下进行进一步验证将提供额外的确认。其次,由于水处理过程遵循顺序的物理流动,每个阶段测量的水质数据都表现出特定于过程的时间延迟。因此,数据根据水力延迟特性进行了时间对齐。这种对齐确保了在数据集构建用于模型训练之前输入变量和FS浊度之间的一致性。第三,SB浊度显著影响FS浊度。因此,引入了一个表示其短期变化率的派生变量,记为ΔSB浊度。这个变量增强了模型对快速时间变化的敏感性。ΔSB浊度定义为连续时间步长之间的相对百分比变化,使用方程(3)计算。(3)?SB%=SBt?SB(t?1)SB(t?1)×100这里,SBt表示当前的SB浊度,SB(t?1)表示紧前一时间步的浊度。这个派生变量使模型能够明确捕捉到沉淀水浊度的突然增加或减少,从而增强了其对向过滤阶段传播的短期干扰的响应能力。最后,为了避免在模型训练期间由于尺度差异导致输入变量的不成比例加权,所有输入特征都被标准化。每个变量的平均值被设置为0,标准差被设置为1。平均值和标准差仅从训练数据集中计算。在标准化之前,对预处理的数据集计算了描述性统计量,包括最小值、最大值、平均值和标准差,以验证异常值去除的有效性并评估数据分布的适当性。经过这个过程后,保留了2022年2月1日至2023年1月14日期间收集的33,401条预处理的时间序列记录用于模型开发。这些记录随后按时间顺序分为训练、验证和测试周期。然后分别在每个子集中生成基于窗口的输入-输出样本,用于模型训练和评估。2.3. 深度学习的数据集结构在这项研究中,使用了33,401条预处理的时间序列记录来构建数据集。这些15分钟的间隔记录首先按时间顺序分为训练(70%)、验证(15%)和测试(15%)子集,用于模型评估。为了防止时间泄露,在每个子集中分别生成时间窗口样本。因此,每个输入窗口仅来自同一子集中的记录,防止了训练、验证和测试边界之间的重叠。用于标准化的平均值和标准差仅从训练期间计算,然后不变地应用于验证和测试期间。图4展示了FS浊度预测的时间序列输入-输出数据集结构。输入数据集包括九个水质和操作变量,每个样本表示为一个三维数组,维度对应于样本、时间步长和特征。在这项研究中,每个输入样本配置为包括10个连续的时间步长。数据集被组织为一个三维张量,形状为(N, 10, 9),其中N表示每个子集中生成的基于窗口的样本数量。例如,每个输入序列使用10个连续的15分钟记录来预测下一个时间步的FS浊度,然后下一个序列将输入窗口向前移动一个15分钟的间隔。输出变量是FS浊度,由每个输入序列对应的单一浊度值表示。因此,输出数据集的形状为(N, 1)。输入时间窗口的长度会影响模型性能。先前的研究表明,过长的输入序列可能会引入无关信息,从而降低预测准确性[37]、[38]。根据先前列出研究中常用的窗口长度范围,使用3、5、7、10、15、20的时间步长进行了初步实验[37]、[39]。在这些候选者中,10个时间步长的窗口长度产生了最稳定的验证性能,因此在本研究中被采用。3. 方法论3.1. PNC模型正负卷积感知器(PNC)模型扩展了[40]提出的PNP架构。它结合了基于卷积的特征提取和正负信号组分的独立处理。PNC由正卷积神经元(PC)和负卷积神经元(NC)组成,它们分别在输入数据中独立学习正负特征组分,从而减少信息损失并实现精细的特征提取。这种架构将CNN的并行卷积操作与PNP框架的基于符号的分离机制结合起来。因此,模型能够有效捕捉包含正负变化的时间序列数据中的时间模式。图5显示了PNC模型的整体架构。相同的输入数据I被送入两个并行卷积路径,每个路径独立学习互补的特征表示。提取的特征随后通过Sigmoid变换和非线性激活函数,然后传递到预测模块。PNC模型的操作包括三个连续阶段:输入阶段、判断阶段和传输阶段。在输入阶段,输入数据I分别与PC和NC路径中的一维卷积滤波器Wp和Wn进行卷积,生成初始特征图:(4)Isp=I×Wp,Isn=I×Wn这里,Wp和Wn分别代表PC和NC的卷积滤波器权重值。在判断阶段,使用Sigmoid门控函数σ?自适应调节提取特征的重要性,然后通过添加偏置项bp和bn进行精细化:(5)Jsp=Isp×σap+bp,Jsn=Isn×σan+bn这里,ap和an表示控制神经元激活水平的门控参数,而bp和bn表示相应的偏置。在传输步骤中,应用ReLU激活函数以保留最具信息量的组件。在PC路径中,保留正值,而将负值设置为零;在NC路径中,保留负值,同时将正值设置为零:(6)Tsp=ReLU(Jsp),Tsn=?ReLU(Jsn)这里,ReLU(Jsp)保留Jsp的正值,而?ReLU(Jsn)保留Jsn的负值。这种符号分离机制使PNC模型能够选择性地捕捉时间序列数据中的突然变化,同时抑制噪声。这种行为已在基于原始PNP框架的扩展PNC公式中报告[41]。这些方程描述了从PNP框架派生的通用PNC公式。然而,图5提供了概念性的表示,并没有反映PNC层的详细计算操作。为了在提出的PNC层中实现这一机制,本研究采用了简化的计算结构,如图6所示。与上述通用门控公式不同,所提出的实现应用了Sigmoid变换,然后添加偏置,而不显式引入门控参数。具体来说,输入时间序列通过两个并行卷积路径进行处理,分别代表正负组分。在每个路径中,分别使用独立的核Wp和Wn应用一维卷积。然后通过Sigmoid函数转换结果特征图,并随后通过偏置项进行移动。在正路径中,应用ReLU激活函数以保留正响应,而在负路径中,使用最小约束激活函数以保留非正响应。这种不对称的激活设计实现了正负特征组分的明确分离,而无需引入额外的门控参数。最后,来自两个路径的输出沿着通道维度连接起来,形成组合的特征表示。虽然(4)、(5)、(6)描述了通用PNC公式,但图6展示了本研究中使用的简化实现。该结构直接对应于所提出模型中采用的计算操作。这种设计通过将每个路径限制在不同的输出域上来明确分离特征响应。正分支保留正激活,而负分支将输出限制在非正域。3.2. 提出的模型我们设计了P2C-PC模型来提高水处理厂的浊度预测性能。PNC模块的详细描述在第3.1节中提供,而标准1D-CNN组件的实现遵循[42]中描述的常规公式。P2C-PC模型首先使用基于PNC的并行低层。每层分别从单个过程变量中提取特征表示。然后将得到的特征通过堆叠的1D-CNN处理,以学习细粒度的时间模式。这些学习到的表示随后通过基于MLP的预测层整合,以产生最终的浊度估计。图7展示了P2C-PC模型的整体架构,说明了并行逐变量输入处理、基于PNC的特征提取、基于CNN的时间特征学习、MLP整合和最终预测的顺序流程。模型接收九个输入变量。每个变量由具有100个卷积滤波器的独立PNC低层处理。这种结构能够在不同过程变量之间最小化相互干扰的同时,实现特定变量的特征提取。从并行PNC层提取的特征被整合,然后通过由三个连续卷积层组成的堆叠1D-CNN,每个层有100个滤波器。这些层捕获局部时间依赖性和时间步长之间的短期连续性,同时能够检测到逐渐和突然的变化。通过这种层次化的时间表示,模型在复杂的动态条件下减弱噪声并有效捕捉局部时间模式[43]。在CNN层中整合的特征被传输到一个具有100个节点的全连接MLP层,其中应用非线性变换以生成最终预测。此外,引入的派生变量ΔSB浊度反映了沉淀池浊度的短期变化,提高了模型对向过滤阶段传播的局部干扰和突然模式变化的敏感性。模型训练使用了Adam优化器,固定学习率为0.001。对于非线性深度学习模型,过长的训练周期可能导致过拟合,而不会带来相应的性能提升,特别是在复杂架构中,如最近的研究所报告的[44]、[45]。因此,训练周期数固定为100。所有模型都使用了32的批量大小,以确保公平和稳定的比较。使用平均绝对误差(MAE)作为损失函数,因为它为浊度预测任务提供了稳健且可解释的度量。隐藏层应用了修正线性单元(ReLU)作为激活函数,而输出层使用了线性激活函数。3.3. 对比模型为了评估所提出的P2C-PC模型的性能,选择了传统的MLP作为基准。还开发了五个对比模型和一个消融模型。所有对比模型都是在并行到收敛(P2C)框架内构建的。它们被分为三类P2C-MLP变体和两类P2C-CNN变体。这种分类使得可以系统地分析归因于架构设计选择的性能差异。命名约定遵循P2C框架的结构。第一个术语表示在并行下层中使用的特征提取方法,第二个术语表示在上层中应用的处理结构。基线MLP模型采用了[15]提出的架构,以确保与之前验证的浊度预测框架的一致性。这个基线是一个标准的前馈神经网络,用作非线性浊度预测的基准。在这项研究中,网络由一个包含88个神经元的隐藏层和双曲正切激活函数组成,后面跟着一个线性输出层。模型训练是通过最小化均方误差(MSE)来进行的,而在训练过程中还监控了均绝对误差(MAE)作为额外的指标。为了保持优化器设置的一致性,所有模型(包括基线MLP)都使用了Adam优化器。图8(a)展示了基于P2C-MLP的比较模型的架构。每个输入变量都通过一个独立的并行下层进行处理,在该下层中应用了三种特征提取技术之一——CNN、长短期记忆(LSTM)或PNC——来提取特定于变量的特征。下载:下载高分辨率图像(601KB)下载:下载全尺寸图像图8. 比较P2C-MLP和P2C-CNN模型的架构。提取的特征随后被合并并传递给一个有100个节点的MLP层。输出随后通过三个全连接层进行处理,以生成最终预测。根据并行下层中应用的特征提取技术,构建了三种P2C-MLP变体:P2C–CNN–MLP(P2C–CM)、P2C–LSTM–MLP(P2C–LM)和P2C–PNC–MLP(P2C–PM)。图8(b)展示了基于P2C–CNN的比较模型的架构。每个输入变量都通过一个并行下层进行处理,在该下层中应用了LSTM结构来提取特定于变量的特征。提取的特征随后被合并并通过三个连续的CNN层进行处理,每个CNN层有100个滤波器,以学习详细的时间模式和局部依赖性。因此,构建了一个单独的P2C–CNN变体,称为P2C–LSTM–CNN(P2C-LC)。然而,这个模型主要是为了评估基于标准CNN的上层时间整合结构的性能,并没有提供对照比较来隔离PNC层的结构贡献。为了评估PNC层的性能改进是由于其结构设计还是仅仅因为滤波器数量的增加,构建了一个额外的基于CNN的模型,称为P2C-CNN-CNN(P2C–CC)。在这个模型中,下层和上层都使用了标准的卷积操作。这允许直接比较基于PNC的特征提取机制和基于标准卷积的特征提取机制。在提出的P2C–PC模型中使用的PNC下层被替换为标准的Conv1D层。每一层使用200个滤波器,与PNC层通过正负特征分解产生的200个输出通道相匹配。所有后续的CNN层和MLP层保持不变。训练设置也与提出的模型相同。这种设置通过匹配下层特征提取层的输出维度,从而允许进行受控的比较,并隔离PNC机制的效果与通道数量的效果。此外,为了评估导出的ΔSB浊度变量的贡献,通过从提出模型的输入变量中排除这个变量,构建了一个称为P2C–PC–ab的消融模型。这个消融模型保留了提出的P2C–PC模型的整体架构(图7),但没有包括ΔSB浊度变量,如图9所示。下载:下载高分辨率图像(294KB)下载:下载全尺寸图像图9. 不包括ΔSB浊度的消融模型(P2C-PC-ab)的架构。所有基于P2C的比较和消融模型都使用与提出模型相同的配置进行训练。具体来说,使用了Adam优化器,学习率为0.001,批量大小为32,训练周期为100次。应用了MAE损失函数,并且隐藏层和输出层分别使用了ReLU和线性激活函数。4. 结果与讨论4.1. 性能评估和特征贡献分析为了定量评估模型的预测性能,使用了三个评估指标:均方根误差(RMSE)、对称平均绝对百分比误差(sMAPE)和均绝对误差(MAE)。RMSE强调较大的预测误差,sMAPE提供了不同幅度范围内的尺度不变比较,而MAE提供了平均绝对误差的直观度量。这些指标的数学公式在方程(7)中给出。RMSE=1/n∑i=1n(yi?y?i)2sMAPE=100/n∑i=1nyi?y?i(yi+y?i)/2(7)MAE=1/n∑i=1nyi?y?i这里,n表示样本数量,而yi和y?i分别代表观察值和预测值。此外,为了量化训练误差和测试误差之间的差异,本研究使用了泛化比率(GR)。如方程(8)所定义,GR是测试RMSE与训练RMSE的比率。(8)GR=RMSEtest/RMSEtrain接近1.0的GR值表明训练数据和测试数据之间的性能相似,而较大的值表明过拟合的风险更大[46]。因此,GR与传统的评估指标一起使用,根据训练误差和测试误差之间的差异来评估模型的泛化能力。为了进一步检查导出的ΔSB浊度特征的贡献,除了传统的性能指标外,还进行了两次事后可解释性分析。首先,使用了Shapley Additive explanations(SHAP)来估计每个输入变量对个别模型预测的边际贡献。SHAP提供了一个基于Shapley值的加性特征赋值框架,并为给定预测的每个特征分配一个重要性值[47]。对于基于时间窗口的模型,首先在时间步骤-特征级别计算SHAP值,然后在10个输入时间步骤上汇总以获得变量级别的重要性。这种使用SHAP的方法也与最近使用可解释机器学习来提高预测模型透明度的水处理研究一致[30]。其次,进行了基于遮挡的敏感性分析,作为一种模型不可知的扰动方法。在这种分析中,每个输入变量都被替换为其背景平均值,而其余变量保持不变。使用RMSE的变化来估计训练模型中每个变量的基于遮挡的敏感性。这种方法遵循遮挡敏感性的通用原理,其中通过屏蔽或替换部分输入并监控模型输出或预测误差的变化来评估输入信息的贡献[48]。第j个变量的遮挡效应计算如下:ΔRMSEj=RMSEX?j?RMSEX,其中X?j表示第j个变量被其背景平均值替换后的测试输入。正的ΔRMSEj表示遮挡变量降低了预测准确性,而接近零或负的值表示全局贡献有限。这些分析被用作补充的可解释性工具,而不是主要的准确性指标。4.2. 数据分析为了评估输入变量的分布特性和预处理的充分性,分别计算了训练和测试数据集的描述性统计量,包括平均值、标准差、最小值和最大值,如表1所示。表1. DWTP数据集中输入和输出变量的描述性统计量。空单元格训练数据测试数据平均值最小值最大值STDIW浊度0.9290.2751.8380.3030.6500.3121.1880.163IW pH6.906.357.410.207.616.778.430.27IW FR94.960.00213.8045.56106.840.00218.1046.50IW CD1.910.074.880.421.920.404.920.54SB浊度0.1930.0420.5800.0940.1810.0820.3700.054ΔSB浊度0.82-77.31413.5114.940.37-60.00130.918.97FS RC0.320.001.690.200.610.141.100.11FS pH7.266.797.640.157.247.027.330.04FS WL1.670.063.170.871.720.093.160.85FS浊度0.0360.0180.1000.0140.0220.0170.0580.005IW浊度保持稳定,平均值低于1 NTU,最大值为1.838 NTU,表明在观察期间进水浊度的短期变异性有限。与在高度可变进水条件下报告的数据集相比,当前数据集显示了更狭窄的浊度范围。图10中呈现的皮尔逊相关热图直观地显示了变量之间的线性关系的强度。下载:下载高分辨率图像(246KB)下载:下载全尺寸图像图10. 输入和输出变量的皮尔逊相关热图。IW浊度与IW pH(r = ?0.54)和FS pH(r = ?0.55)表现出中等的负相关,表明浊度变化与处理过程中的物理化学条件的变化有关[49]。相比之下,FS浊度与大多数变量的相关性较低——例如,与FS RC的相关性为r = ?0.14,与FS pH的相关性为r = 0.15。这表明其变异性不能完全通过与个别变量的线性关系来解释,可能涉及时间和过程相关的相互作用[50]。此外,IW CD和IW FR之间的相关系数为0.52,表明它们之间存在中等关系。这种关系反映了基于SCADA的操作逻辑,其中根据进水流量的变化调整混凝剂剂量。因此,将IW CD和IW FR同时作为模型输入是合理的,这也表明在DWTP应用中的变量选择应结合领域知识和非线性预测关系,而不仅仅依赖于线性相关系数[51]。对于SB浊度,在预处理过程中去除了与停电、传感器故障和异常峰值相关的极端值。结果,标准差略有降低,而平均值和范围保持在预期的操作范围内。值得注意的是,作为变化率特征的ΔSB浊度表现出相对较高的变异性,训练集的标准差为14.94,测试集的标准差为8.97,如表1所示。这种变异性表明ΔSB浊度代表了上游沉淀池浊度的短期变化。先前的工作已经表明,变化率变量可以为时间序列预测提供额外的时间信息[52]。然而,仅从描述性统计量中无法推断ΔSB的预测作用。因此,进一步使用消融、SHAP和遮挡分析进行了研究。相关性分析进一步显示,ΔSB浊度与FS浊度的皮尔逊系数为0.01,表明线性关系几乎可以忽略不计。这个结果表明,仅凭皮尔逊相关性不足以评估如ΔSB浊度这样的动态特征的预测相关性。ΔSB浊度的潜在作用应该与非线性或时间依赖的相互作用相关联来解释。4.3. 15分钟间隔的预测性能进行了敏感性分析,以检查回望窗口长度对15分钟间隔预测任务的影响。评估了3到20个时间步长之间的代表性窗口长度范围,以捕捉从短到长的时间背景的总体性能趋势。如表2所总结的,预测准确性取决于输入窗口长度,并且并没有随着时间背景的延长而单调提高。10步窗口在评估的设置中显示出最低的RMSE,为0.0088 NTU,表明150分钟的输入序列为FS浊度预测提供了合适的时间背景。相比之下,3、5和7个时间步长的较短窗口显示出更高的RMSE值,表明它们不足以完全捕捉延迟的过滤阶段响应。15和20个时间步长的较长窗口也没有进一步改善。表2. 15分钟浊度预测的输入窗口长度敏感性分析。时间步长时间跨度RMSE(NTU)345分钟0.0104575分钟0.01067105分钟0.011410150分钟0.008815225分钟0.015820300分钟0.0119这些结果表明,150分钟的时间背景在捕捉延迟的过程动态和避免包含不太相关的历史信息之间提供了实用的平衡。换句话说,过短的输入窗口可能不足以表示过程滞后效应,而较长的窗口不一定能提高预测准确性,并可能引入冗余的时间信息。考虑到敏感性分析和过滤过程的预期延迟响应,后续模型评估使用了10步输入窗口。在所有评估的模型中,提出的P2C–PC模型在RMSE、sMAPE和MAE方面显示出最低的误差值。提出的模型产生了0.0088 NTU的测试RMSE、31.72%的sMAPE和0.0082 NTU的MAE。图11展示了基于MLP的模型观察到的浊度和预测的浊度之间的时间序列比较。(a)MLP,(b)P2C-LM,(c)P2C-CM,(d)P2C-PM。如图11(a)所示,独立的MLP模型未能一致地再现FS浊度的时间动态。尽管预测值显示了一些时间波动,但模型倾向于高估低浊度基线,并未能充分捕捉到观察到的几次突然增加。这表明简单的前馈结构在表示稳定低基线条件和过滤阶段浊度的间歇性峰值事件的同时存在方面能力有限。在基于P2C-MLP的模型中,P2C-LM在一定程度上减少了预测误差。然而,尽管基于MLP的变体反映了一些广泛的浊度增加和减少,但它们的预测幅度与观察值对齐得不好。偏差在测试期间并不恒定,表明存在随时间变化的预测偏差。特别是,P2C-CM和P2C-PM产生了重复的虚假峰值,而这些峰值在测量的浊度数据中并不存在。这些结果表明,当底层特征提取器和上层集成结构不匹配时,仅使用P2C框架并不能保证性能的提升。这一观察结果为后续在图12中比较基于CNN和基于PNC的特征提取结构提供了依据。
图12展示了基于CNN的模型与消融模型之间观测浊度和预测浊度的时间序列对比:(a) P2C-LC,(b) P2C-CC,(c) 提出的P2C-PC模型,以及(d) 消融模型(P2C-PC-ab)。
表3总结了使用SHAP和occlusion分析的结果,以检验ΔSB浊度的贡献是否可以归因于一个主导的独立效应。SHAP和occlusion分析显示,ΔSB并不是一个全局上占主导地位的独立预测因子。在所有三个代表性模型中,ΔSB在九个输入变量中的排名最低,用其背景均值替换ΔSB仅导致了较小的RMSE变化。特别是,对于提出的模型,替换ΔSB后的ΔRMSE略有下降,这表明替换ΔSB并没有降低整体测试性能。这些结果表明,ΔSB的效应不应被解释为在整个测试集上的全局性贡献,而更可能与其在评估操作条件下的多变量特征表示中的作用有关。
表4总结了各模型在RMSE、sMAPE、MAE和GR方面的性能差异。定量结果与图11和图12中显示的图形趋势一致。在基于MLP的变体中,P2C-LM相比单独的MLP模型提高了测试RMSE,而P2C-CM和P2C-PM的误差显著更大。这表明,当底层特征提取器和上层集成结构不匹配时,仅使用P2C框架并不能持续提高预测性能。
基于CNN的变体显示出较低的测试RMSE值,但P2C-LC和P2C-CC的测试误差仍高于提出的P2C-PC模型。这一比较对于P2C-CC尤为重要,因为该模型是通过使用200个Conv1D层来替换PNC的200个输出通道构建的。P2C-CC的较高误差表明,仅通过增加输出通道的数量无法解释所提模型的改进。相反,这一结果支持了PNC底层中正负特征分解机制的贡献。
尽管在提出的基于CNN的结构中观察到了相对一致的预测模式,这与之前的研究结果一致,即基于CNN的架构能够捕捉水质时间序列中的局部时间模式[43]、[53]、[54]。然而,与P2C-CC相比,所提模型的较低预测误差表明,仅使用标准卷积特征提取在评估条件下无法稳定代表FS浊度的低基线和间歇性峰值结构。
相比之下,消融模型(P2C–PC-ab)在几次峰值事件期间显示出更大的偏差,导致预测误差增加。ΔSB浊度与FS浊度之间的皮尔逊相关系数为0.01,表明线性关系可以忽略不计。P2C-PC-ab的较高误差表明,包含ΔSB的输入集比不包含它的输入集更为有效。然而,后续的SHAP和occlusion分析表明,这种改进并非由ΔSB的独立效应主导。这种解释与之前的研究一致,后者表明具有低线性相关性的派生变量仍可能包含与非线性依赖性和时间滞后效应相关的信息[55]。
尽管提出的基于CNN的结构显示出相对一致的预测模式,但与之前的研究结果一致,即基于CNN的架构能够捕捉水质时间序列中的局部时间模式[43]、[53]、[54]。然而,与P2C-CC相比,所提模型的较低预测误差表明,仅使用标准卷积特征提取在评估条件下无法稳定代表FS浊度的低基线和间歇性峰值结构。
表4总结了各模型在RMSE、sMAPE、MAE和GR方面的性能差异。定量结果与图11和图12中显示的图形趋势一致。在基于MLP的变体中,P2C-LM相比单独的MLP模型提高了测试RMSE,而P2C-CM和P2C-PM的误差显著更大。这表明,当底层特征提取器和上层集成结构不匹配时,仅使用P2C框架并不能持续提高预测性能。
基于CNN的变体显示出较低的测试RMSE值,但P2C-LC和P2C-CC的测试误差仍高于提出的P2C-PC模型。这种比较对于P2C-CC尤为重要,因为该模型是通过使用200个Conv1D层来替换PNC的200个输出通道构建的。P2C-CC的较高误差表明,仅通过匹配输出通道的数量无法复现所提出的PNC基结构的预测行为。此外,ΔSB的消融结果应被视为特征集级别的比较,而不是ΔSB独立效应的证据。
GR值被解释为训练-测试差异的补充指标。例如P2C-CM、P2C-LC和P2C-CC显示出较高的GR值,分别为7.33、7.33和5.61。这些模型在训练时获得了较低的误差,但在测试时却出现了较高的误差,这表明可能存在过拟合或时间可转移性降低的情况。
对于提出的P2C-PC模型,测试RMSE低于训练RMSE,GR值为0.71。这一值并不被视为优越泛化的独立证据。相反,较低的测试RMSE是与测试期间的分布特征和模型特定的训练-测试误差模式相关的。如补充表S1所示,测试期间的FS浊度变异性低于训练期间,标准差从0.0135降至0.0046,高于0.05 NTU的样本数量从2,338降至4。此外,所提模型的训练RMSE高于P2C-LC和P2C-CC,表明它并未像这些传统的基于CNN的变体那样积极地降低训练误差。综合来看,较低的测试RMSE可能既反映了时间分离的测试期间较低的浊度状态,也反映了所提P2C-PC模型的模型特定训练-测试误差行为。
4.4. SCADA部署的实际考虑
尽管所提出的框架在评估的操作条件下显示出相对较低的预测误差,但在全尺度SCADA环境中进行部署时仍需考虑几个实际问题。首先,计算延迟不太可能成为限制因素。所提出的模型基于仅包含10个时间步长和9个变量的紧凑输入,因此计算成本较低。基于CNN的架构由于卷积操作的并行性而具有高效计算的特点[56]。PNC结构通过并行卷积处理保持了这种效率[41]。在模型训练期间,每个训练步骤的计算成本大约为8-13毫秒,包括前向和反向传播。虽然这个值不直接代表推理时间,但它仍然表明所提模型的计算负担较低。从计算角度来看,该模型与15分钟的SCADA更新周期兼容。虽然原始传感器数据以30秒的间隔连续采集,但该框架利用15分钟的聚合输入。这种设计表明在典型的SCADA操作周期内实现及时决策支持是可行的,尽管在实际部署时需要在更多样化的工厂条件下进行进一步验证。
其次,环境和水文系统本质上是动态的,并表现出显著的空间-时间变异性。这导致数据分布随时间非平稳[57]。因此,建议定期使用新积累的SCADA数据进行重新训练,以保持模型的鲁棒性,特别是在罕见但影响较大的水质或操作条件下。例如,Juam水库进水口附近的特定干扰或与长时间滞留相关的藻类入侵可能会改变过程变量和过滤浊度之间的时间关系。这种演变的系统行为可能会由于概念漂移而导致模型性能下降,即输入-输出关系的统计特性随时间变化[58]、[59]。因此,应考虑定期更新模型以在年度间的环境变化和操作条件变化下保持预测可靠性。
第三,操作员的信任对于实际部署至关重要,因为深度学习模型通常被视为黑箱预测器。这种缺乏透明度的特点可能会阻碍其在安全关键过程(如过滤阶段操作)中的采用,因为在这些过程中决策必须具有可解释性和可审计性[60]、[61]。如果没有可解释的输出,操作员可能不愿意依赖模型预测,因为可解释性是影响信任和采用机器学习系统的关键因素。因此,所提出的框架旨在提供及时且可解释的决策支持信息,以帮助操作员了解情况,而不是作为一个完全自主的控制系统。
4.5. 相关工作的比较
表5总结了之前使用各种模型和数据集进行浊度预测的研究,其中大多数采用了每小时或一天的预测间隔。例如,[26]使用每小时数据对沉淀水浊度进行了MLP模型预测,并报告了基于季节性子集的MAE值为0.21–0.35 NTU。在解释报告的性能时,应考虑这种季节性子集设计。
表5根据处理阶段、预测间隔、数据集大小、模型类型和报告的评估指标,比较了相关的浊度预测研究。
在本研究中,使用了33,401个预处理过的15分钟时间序列记录来构建基于窗口的过滤阶段浊度预测样本。在评估的单个工厂、低浊度操作条件下,所提出的P2C-PC模型实现了0.0088 NTU的测试RMSE。因此,这项比较的主要贡献不在于直接基于RMSE的优越性声明,而在于展示了一个针对过滤阶段的细粒度时间预测框架。通过关注15分钟的预测间隔,本研究补充了之前主要针对沉淀水或清澈井水的每小时或每天间隔的浊度预测研究。与最近针对源水级别预测的更广泛范围的研究[28]和多点自适应监测[29]相比,本研究是一种针对过滤阶段短期浊度的特定过程方法。值得注意的是,有超过30,000个基于SCADA的数据点被用于预测单一的过滤过程。该模型实现了0.0088 NTU的RMSE(均方根误差),这表明在评估的单厂运行条件下预测误差较低。其次,尽管ΔSB浊度与目标变量的皮尔逊相关系数(r = 0.01)较低,但其去除导致消融模型中的预测误差增加,并在预测图中产生了显著差异。这些发现表明,在评估的条件下,ΔSB可能作为学习到的多变量特征表示的一部分发挥作用,而不仅仅是一个全局主导的独立预测因子。这表明,那些线性相关性较低的派生变量应通过基于模型的分析和可解释性分析进行进一步评估,因为它们的作用可能无法完全通过线性相关度量来捕捉。第三,P2C-PC框架应用了并行正负特征学习和基于CNN的时间积分。这些结果表明,并行正负特征提取有助于解释P2C-PC与参数控制的P2C-CC模型之间观察到的性能差异,并且在整个评估数据集中保持了更一致的预测行为。使用RMSE、MAE、sMAPE和GR进行的定量评估证实,在相同的数据集和运行条件下,P2C-PC模型的预测误差低于其他对比模型。在特定的时间段内观察到了由于局部过拟合效应导致的预测误差,表明预测值与观测值之间存在局部偏差。因此,提高模型稳定性需要长期的高分辨率数据、改进的预处理方法以及抗噪声的建模策略。此外,本研究使用了来自单个饮用水处理厂的大型SCADA数据集。在该系统中,进水浊度表现出相对狭窄且稳定的范围。虽然这种条件使得在评估条件下能够进行低误差的精细时间预测,但所提出框架在高度动态条件下的泛化能力尚未得到充分验证。这些条件包括暴雨事件、季节性径流或水源突然扰动。因此,未来的研究应使用来自多个处理厂的数据集来评估所提出的框架。这些数据集应包括更多多样的进水浊度模式,以进一步验证其鲁棒性和外部适用性。此外,鉴于所提出架构的可扩展性,未来的研究可以专注于开发下一代混合结构。这些结构可能将CNN与基于Transformer的模型或受最近多点水质预测研究启发的自适应学习策略相结合。总之,本研究提出的P2C-PC(基于PNC-CNN的)预测模型能够在评估的运行条件下实现过滤阶段浊度的精细时间短期预测。它支持操作人员的解释和决策过程。该框架特别适合作为操作人员意识的决策支持工具。潜在的应用可能包括浊度异常筛查、反冲洗相关操作评估以及短期过滤监测,这需要进一步的验证。此外,研究结果强调,在过滤阶段的预测性能主要受时间分辨率和领域感知特征设计的影响,在本研究的范围内,它对模型复杂性的依赖性较小。所提出的框架也为未来的基于SCADA的决策支持应用提供了实用基础,这需要在不同运行条件下进行进一步验证。它有助于发展智能和数据驱动的水处理操作。
**作者贡献声明:**
- Eunseong Lee:撰写——原始草稿、可视化、验证、方法论、调查、形式分析、数据管理、概念化。
- Gwiman Bak:撰写——审阅与编辑、方法论、概念化。
- Youngchul Bae:撰写——审阅与编辑。
**关于写作过程中生成式AI和AI辅助技术的声明:**
在准备本手稿期间,作者使用了AI辅助语言工具来提高文本的清晰度和可读性。作者根据需要审阅和编辑了内容,并对最终的手稿内容负全责。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号