通过符号回归实现的鲁棒集成学习框架，用于软传感器建模

《Journal of Computational Science》：Robust ensemble learning framework through symbolic regression for soft sensor modeling

　　铁·泰萨罗 | 赫隆·维森特·胡尔特曼·阿亚拉 | 维维安娜·科科·马里亚尼 | 莱安德罗·多斯桑托斯·科埃卢
巴西巴拉那州库里蒂巴市，巴拉那天主教大学工业与系统工程研究生项目

摘要
在工业应用中选择最优的数学表示方法来建模软传感器是一项具有挑战性的任务，因为现有的方法难以在准确性、可解释性和计算效率之间取得平衡。尽管符号回归（SR）模型具有可解释性，但它们通常缺乏一个系统的选择框架，使得决策者无法有效地平衡准确性和复杂性。本研究通过引入“调整进化选择用于符号回归”（TESSR）来填补这一空白。TESSR是一种集成多种先进SR模型与多属性决策算法的集成模型，提供了一个可随时间更新的模型选择结构化框架。TESSR在模拟重型发动机涡轮速度软传感器时，其性能始终优于单独的模型，达到了0.997的R2（决定系数）和1210的RMSE（均方根误差），并且仅使用了15个操作步骤。与当前最先进的SR模型相比，这代表了10.7%的误差减少和11.8%的硬件使用量降低，展示了准确性和复杂性之间的理想平衡。TESSR为工业应用提供了一种稳健的解决方案，结合了可解释性、准确性和计算效率，使其成为复杂系统建模中决策者的宝贵工具。

1. 引言
软传感器通过利用过程变量之间的关系来估计关键量和性能指标，从而提供了灵活性和适应性[1]。与传统物理传感器不同，它们可以使用第一性原理模型或数据驱动技术进行开发，因此在现代工业中至关重要[2]。它们能够预测那些难以自动测量、成本高昂、供应不规律或存在显著延迟的质量变量[3]。数据科学、计算和通信技术的进步进一步增强了软传感器的能力，实现了实时信息交换和地理分散过程数据的集成[4]。
软传感器广泛应用于各个行业，包括汽车制造[5]、半导体生产[6]和化学加工[7]。特别是在汽车行业，软传感器用于估计二氧化碳排放量[8]、预测电动汽车电池组的充电状态、能量状态和功率损失[9]，以及评估组件负载以估计其剩余使用寿命[10]。它们还在过程控制、优化和监控中发挥着关键作用[11]。然而，大多数软传感器应用依赖于嵌入式系统中的实时信号处理，这要求低计算成本，尤其是在汽车制造等成本敏感的行业[12]。
对于软传感器应用，通常使用黑盒模型，如循环神经网络[13]、支持向量机[14]和其他机器学习技术来克服建模、校准和控制的限制[15]。黑盒模型和白盒模型都适用于解决实际问题，但机器学习专家必须理解输入数据、问题以及展示输出数据的最佳方法，才能实施黑盒机器学习模型[16]。另一方面，白盒模型能够准确解释过程动态[17]，这使得它们在某些应用中比黑盒模型更受欢迎，因为它们在模型架构上更加透明，并且更容易识别预测变量的相对重要性[18]，因为它们可以生成结构详细的模型，从而允许更详细地分析和与基准数据集进行比较。此外，一些黑盒模型的庞大体积使得它们难以部署在资源受限的嵌入式系统（如手机和物联网设备）上[19]。
对于软传感器应用来说，低计算成本至关重要，尤其是在汽车、无线通信、多媒体和通用电信等高产量、低成本的行业中[20]。它有助于更快地解决问题，减少能源消耗并最小化尺寸要求[21]。更高效的软件不仅降低了硬件成本，还提高了工业嵌入式系统的盈利能力，同时确保符合功能安全标准[22]。因此，嵌入式软件中的低计算成本使得开发更小、功能更丰富的计算机系统和商业实时操作系统成为可能，这对于在工业应用中有效部署软传感器至关重要[23]。为了满足软传感器应用中对低功耗、低成本解决方案的需求，像Tiny Machine Learning (TinyML)这样的倡议应运而生，这是一种结合嵌入式系统和机器学习的边缘计算概念，旨在提高电池供电智能设备的效率[24]。TinyML将机器学习机制集成到由微控制器单元驱动的系统中，使软传感器等应用能够在没有外部处理支持的情况下独立运行[25]。这种方法减少了延迟，优化了带宽使用，增强了数据安全性，并降低了成本[26]。
最近的研究明确关注于使软传感器具有可解释性。对于基于深度学习的软传感器，深度多注意力软传感器（DMASS）使用可变的时间滞后注意力权重以及考虑不确定性的区间预测，提供了数据选择和传感器行为的自解释视图[27]。从白盒的角度来看，已经提出了基于符号回归的可解释软传感器，最初作为一种产生紧凑、符合物理规律的表达式的符号回归框架[28]，随后作为一个工业案例研究，证明了符号回归可以在保持透明度的同时匹配或超越黑盒模型[29]。最近，可解释性还与明确的解释和不确定性量化相结合，例如通过基于大型语言模型的软传感器，为每个预测生成自解释和置信信息[30]，以及通过全面回顾系统化了第一性原理、数据驱动和混合模型的可解释和稳定的软传感器设计策略[31]。
近年来，符号回归（SR）作为一种生成输入变量和输出之间显式符号关系的通用方法受到了广泛关注[32]、[33]、[34]。与传统回归方法不同，后者专注于在预定的功能形式内调整数值系数[35]，SR同时识别参数和方程[36]。这导致了一个计算效率高且可解释的白盒模型，特别适合用于软传感器应用中的嵌入式系统[37]。作为黑盒模型的替代方案，SR提供了明确的表达式，能够高效准确地将复杂的隐式性能函数转换为清晰的数学形式，从而减少了可靠性分析中的计算复杂性[38]。此外，SR在建模非线性动态方面表现出色，它可以自动发现混沌系统的新表达式，探索广泛的结构，并揭示新的行为，而不受固定模型的限制[39]。它使用间接测量预测过程变量的能力以及无需先验假设就能揭示关系的能力对于软传感器建模尤其有价值[40]。
然而，由于可用选项众多，每个选项都有其优缺点[3]，因此选择特定的SR模型来建模任何软传感器可能具有挑战性。决策者（DMs）往往发现多个目标或属性具有同等的重要性[41]。此外，SR模型在处理噪声数据、非线性关系和高维数据集方面的能力可能有所不同[42]。多属性决策制定（MADM）算法通过提供一个根据多个属性或目标评估和对比SR模型的系统框架来解决这一挑战[43]。例如，通过相似性排序最优解技术（TOPSIS）等MADM方法，决策者可以同时根据多个标准评估SR模型的适用性[44]。
在此背景下，本研究介绍了“调整进化选择用于符号回归”（TESSR）框架，这是一种专为回归任务设计的新型集成学习模型，通过预测符合Euro-VI标准的重型卡车柴油发动机的涡轮增压器转子角速度的案例研究进行了演示。与静态SR方法不同，TESSR引入了一个灵活的数据管道，使得模型能够随时间持续更新和适应。它结合了先进的SR模型、最小二乘（LS）优化和TOPSIS决策方法，创建了一个符合决策者需求的集成模型，确保选择了最有效的模型组合。使用诸如决定系数等既定标准来评估模型的准确性和复杂性[45]、[46]。
这种方法显著提高了预测准确性、可解释性和计算效率，特别适合于复杂的实时工业应用，如软传感器建模。本研究的主要贡献包括：
- 提出了TESSR，一种新的数据管道框架，以解决单个SR模型在软传感器建模中的局限性；
- 结合了先进的SR模型、LS优化和TOPSIS，以提高预测准确性和分析能力；
- 引入了一个决策框架，以有效集成和选择SR模型；
- 实现了实时工业应用中更高的准确性、可解释性和计算效率。

本文的其余部分组织如下：第2节定义了SR模型、黑盒模型、决策算法和性能指标。第3节提出了一个将涡轮增压器速度建模为虚拟传感器的实际回归问题。第4节介绍了所提出的TESSR方法。第5节展示了使用实际现场数据测试的模型结果。第6节讨论了结果。最后，第7节提出了结论和未来的工作方向。

2. 方法
本节概述了本研究中使用的方法，包括用于比较的符号回归模型的功能，以及用作基准的传统黑盒模型。此外，还介绍了TOPSIS决策方法和评估指标，如决定系数和均方根误差。

2.1. 符号回归
SR旨在利用一组数据D={(xi,yi)}i=1N来建模关系y?(x)=??(x,θ?):Rd→R，其中特征（输入变量）由x∈Rd表示，目标由y表示。SR基于这样的假设进行操作：存在一个分析模型y(x)=??(x,θ?)+?，该模型产生了数据点D，其中??(x,θ?)是模型函数，由θ?参数化，?表示模型中的误差项或噪声。目标是在存在白噪声?的情况下，通过探索各种参数θ和?空间中的表达式来找到模型[45]。
如图1所示，语法树可以表示任何数学表达式。所有有效的语法树构成了SR的搜索空间。每个假设模型y(x)对应于该搜索空间中的一个点，由其相应的语法树表示。可以使用历史数据D和选定的指标（如决定系数R2、均方根误差RMSE或其组合）来评估解决方案的准确性。值得注意的是，SR搜索空间具有双重性质：离散和连续。主要来说，它被概念化为一个离散（组合）优化问题，因为潜在的解决方案形式是可数的。然而，它也可能涉及通过连续（全局）优化处理的元素，例如拟合常数（系数）。通常使用一组标准的单变量数学函数（sin、cos、log、x2、x、exp）和二元算术运算符（+、?、?、/）。
在许多应用中，需要具有自动推导能力、高准确性和可解释性的本构模型。传统开发的模型往往是可解释的，而仅依赖数据的方法虽然提供准确性和速度，但不具备可解释性[47]。SR在可解释性和透明度至关重要的领域提供了明显的优势[48]，有助于深入理解潜在模式和系统，生成清晰且可解释的数学表达式，直接描绘数据中的关系，有助于提出假设。此外，SR固有的简单性和奥卡姆剃刀原理[49]通常导致模型更容易理解，同时不太容易过拟合。与神经网络相比，SR的计算复杂性较低，提供了一种高效且可解释的特征发现和建模方法，适用于需要理解和解释模型预测的应用[50]。

下载：下载高分辨率图像（77KB）
下载：下载全尺寸图像
图1. 数学表达式(x2cosx)/2表示为语法树。

2.2. 基线模型
本研究评估了多种符号回归（SR）方法，每种方法都依赖于不同的搜索策略和优化机制。尽管它们的目标都是发现可解释的分析表达式，但这些方法表现出不同的优势和局限性。理解这些差异为TESSR采用的集成策略提供了必要的动机。
在遗传编程（GP）中，SR通过进化数学表达式来解决给定数据集的问题。过程从生成初始的随机表达式种群开始，这些表达式表示为S-表达式，由终端（独立变量和常量）和函数组成。终端集T包括自变量和临时随机常量（ERCs），而函数集F定义了用于构建表达式的操作，如基本算术、指数运算和对数运算。这些组件以树状结构排列，形成回归问题的候选解决方案。种群中的每个表达式都使用适应度函数进行评估，通常使用预测值和实际值之间的平方误差之和（SSE）。目标是通过多代进化来最小化这个误差。进化操作包括选择（偏好拟合度更好的个体）、交叉（在表达式之间交换子树）和变异（随机修改表达式的部分），以优化种群。作为ERCs引入的常量通过这些操作进行调整，以提高拟合度。随着时间的推移，GP算法逐渐收敛到能够捕捉经验数据中潜在关系的数学表达式，即使在噪声存在的情况下也能产生可解释的模型[51]。优点：非常灵活的结构搜索能力和强大的全局探索能力。缺点：容易产生冗余，收敛速度较慢，对超参数选择敏感。

深度符号回归（DSR）通过生成数学表达式的序列来解决符号回归任务，利用表达式树的结构。在这种方法中，通常实现为循环神经网络（RNN）的自回归模型在预定义的约束下生成这些表达式。模型按照表达式树的预序遍历逐个生成表达式，该树表示数学运算符和变量。为了确保表达式有意义，向RNN提供层次输入，如父节点和子节点，使其能够捕捉树的结构。此外，在生成过程中强制执行特定领域的约束，例如限制操作类型或表达式长度，以减少搜索空间并提高表达式的质量。该模型使用基于风险寻求策略的梯度进行训练，该策略通过优化基于归一化均方根误差（NRMSE）的奖励函数来最大化最佳表达式的性能。这种方法有助于生成高度可解释的符号模型，这些模型能够很好地拟合数据，结合了符号模型和神经模型的优点[52]。优点：生成简洁且结构化的表达式；在拟合常量方面表现强大。缺点：表达式的深度和长度受RNN架构的限制；对建模高度复杂结构的能力较弱。

Python包pySRURGS通过均匀随机全局搜索方法解决符号回归任务，提供了一种不同于常用的遗传编程方法的替代方案。虽然遗传编程传统上更受青睐用于符号回归，但证据表明其优于随机搜索的证据有限。pySRURGS通过利用一种新颖的枚举方法来处理全二叉树，确保所有方程都有相同的被选中的机会。它使用Levenberg–Marquardt非线性优化来优化参数，并采用基于SQLite的字典来避免冗余计算。pySRURGS设计简单易用，允许用户定义搜索空间、允许的函数和拟合参数，适用于生成基准问题和执行简单任务的穷举搜索。其直观的随机搜索方法会随着时间的推移收敛到最优解，使其成为研究人员和实际问题解决的多功能工具[53]。优点：无偏探索；发现简单表达式的能力强；适用于小规模穷举搜索。缺点：随着表达式复杂性的增加，可扩展性迅速下降；对于高度非线性关系效率较低。

Operon是一个符号回归框架，通过利用GP框架内的自动微分和基于梯度的优化来应对参数识别挑战。Operon采用信赖区域方法，特别是Levenberg–Marquardt算法进行参数调整过程中的局部搜索。在此过程中生成的GP模型使用所有输入变量，不进行隐式特征选择，从而实现对搜索空间的稳健探索。通过使用自动微分，该框架能够高效计算梯度，根据当前模型误差精确调整参数。此外，Operon结合了线性缩放，通过使模型输出与目标值对齐来提高性能，从而减轻GP的优化负担。尽管这种方法具有高精度，但在优化过程中与梯度和函数评估相关的计算成本可能很高，特别是对于大型数据集。然而，通过选择性地应用参数优化或减少训练数据量，该框架可以在保持效果的同时减轻这种计算负担[54]。优点：由于强大的局部优化而具有高精度；出色的常量拟合能力。缺点：梯度评估的计算成本增加；可能收敛到局部最小值。

交互-变换进化算法（ITEA）是一种基于变异的进化方法，特别适用于符号回归任务，有助于保持生成模型的简单性和可解释性。ITEA采用紧凑的表示方法，在受控搜索空间内构建表达式，结合了交互强度和变换函数。每个解决方案都包含带有权重项的表达式，其中变量之间的交互通过幂的乘积表示，变换是单变量函数。ITEA的变异操作允许对这些表达式进行灵活但有结构的修改，添加或删除项、修改交互或切换变换函数。与通过交叉和变异无限制地进化表达树的标准GP不同，ITEA仅在其固定的交互-变换表示内依赖变异，从而实现更受限制且抗冗余的搜索过程。这种结构使ITEA能够在避免过于复杂的表达式的同时探索潜在解决方案，确保生成的模型保持可解释性和计算效率。通过调整变异率和选择机制，ITEA平衡了探索和利用，产生具有竞争力的符号回归模型。这种方法可以应用于工业应用，例如软传感器建模，其中计算简单性和模型透明度至关重要[55]。优点：本质上受限的表示避免了表达式冗余；模型保持简单和可解释。缺点：受限的搜索空间可能限制了复杂功能形式的表达能力。

端到端符号变换器回归（STR）通过利用变换器架构直接从输入-输出对预测数学函数来解决符号回归任务。该方法首先在合成数据集上预训练模型，每个示例包括由随机数学函数生成的输入值和相应输出。这些函数表示为二叉树，运算符作为内部节点，变量或常量作为叶子节点，确保生成多样且复杂的函数。模型使用嵌入器处理输入点，将输入映射到具有16个注意力头的变换器中。通过移除位置嵌入，模型处理排列不变性，从而能够捕捉函数的全局和局部特征，如临界点和周期性。在推理过程中，模型不仅预测函数的结构，还以完全集成的方式预测其常量。通过使用BFGS优化算法微调常量，进一步提高预测常量的精度。这种端到端方法比将函数预测与常量拟合分开的传统方法具有更好的性能[56]。优点：有效捕捉全局结构模式、周期性和非线性。缺点：需要广泛的预训练和大量的计算资源；对训练分布敏感。

BINGO可以通过其模块化和可定制的结构来解决符号回归任务，专门设计用于进化数学方程。该框架采用称为无环有向图（AGraphs）的表示方法，编码方程并利用遗传算法进行高效进化。每个AGraph由一个命令数组表示，定义了如变量加载、常量和数学运算符等操作。适应度评估是符号回归过程的核心组成部分，在BINGO中是可定制的，有多种适应度函数可用于最小化预测值和实际值之间的误差。BINGO中的进化过程也很灵活，允许用户定义变异、评估和选择算法，适用于各种问题设置。此外，BINGO支持连续局部优化（CLO）来微调方程中的常量，进一步提高模型精度。这种适应性使BINGO能够提供定制的符号回归解决方案，同时保持可解释性和计算效率[57]。优点：高效的基于图的表示；由于CLO而具有高精度；高度模块化和可定制。缺点：CLO可能在计算上非常昂贵；如果过度优化，可能会导致常量过拟合。

PySR通过利用多种群进化算法来解决符号回归任务，该算法执行异步进化。PySR方法的核心是一个经过改进的经典进化算法。在这种方法中，候选表达式种群通过锦标赛选择、变异和交叉操作进行进化。每个表达式的适应度被评估，最有前途的表达式被选中进行繁殖。PySR引入了一些显著的改进，例如年龄正则化进化以防止过早收敛和模拟退火以平衡搜索过程中的探索和利用。此外，算法还包括一个进化-简化-优化循环，其中表达式经过简化和常量优化以改进其形式并提高预测精度。PySR的并行化策略涉及独立进化多个种群，并在它们之间异步迁移表达式，显著加速了搜索速度。该工具还支持自定义运算符、损失函数和约束，使其非常适用于各种符号回归任务。通过结合这些先进技术，PySR能够从数据中有效识别出表达能力强且准确的数学模型，为符号回归挑战提供了稳健的解决方案[58]。优点：搜索速度非常快；简化能力强；精度与复杂性的权衡良好。缺点：对简化约束敏感；根据设置可能会产生过于简单或过于复杂的方程。

Robust Symbolic Regression via Iterated Local Search and Ordinary Least Squares（RILS-ROLS）方法通过结合迭代局部搜索（ILS）和普通最小二乘（OLS）技术有效解决SR任务。这种方法将符号表达式搜索与回归拟合相结合，以发现最能描述底层数据的数学模型。RILS-ROLS分为三个主要阶段：首先生成一个初始的随机或启发式生成的解决方案，然后通过迭代扰动该解决方案来探索搜索空间，接着使用局部搜索技术对其进行细化。扰动是基于它们的适应度战略性地生成的，并使用R2和RMSE等指标进行量化，同时根据表达式复杂性进行调整。在扰动细化过程中使用OLS方法来拟合符号表达式的系数，确保它们准确建模训练数据。这种组合策略使RILS-ROLS能够高效导航复杂的搜索空间，平衡模型简单性和预测精度，并生成稳健的符号回归模型[59]。优点：效率非常高；生成紧凑且准确的表达式；常量拟合能力强。缺点：更受限的搜索空间可能会错过高度非线性的功能形式。

总体而言，这些模型表现出互补的优势：一些模型在全局探索方面表现出色（GP、pySRURGS），一些在结构优化方面表现出色（PySR、ITEA），还有一些在精确常量优化方面表现出色（Operon、RILS-ROLS）。没有一种单一的SR方法在所有指标或数据集上始终优于其他方法。这种多样性激发了TESSR中的集成策略，该策略利用多种SR范式的优势来提高精度、可解释性和计算效率。本研究中考虑的黑盒模型包括众所周知的算法，如k-最近邻（kNN）[60]、支持向量回归（SVR）[61]、长短期记忆（LSTM）网络[62]、随机森林（RF）[63]、分类提升（CB）[64]和基于直方图的梯度提升（HGB）[65]，以及广泛使用的线性回归（LRG）[66]。

TOPSIS是一种多标准决策方法，根据备选方案与理想解决方案的接近程度对其进行排名[44]。该方法通过计算备选方案与理想（最佳可能）和负理想（最差可能）解决方案的距离来评估它们。然后计算一个分数，以反映每个备选方案与理想的相对接近程度，从而选择最优选项。评估从一个决策矩阵开始，其中xij表示备选方案Ai对属性Xj的评分。这些评分由决策者（DM）定义的权重w=(w1,w2,…,wn)进行归一化和加权。在本研究中，权重受到约束，使得∑j=1nwj=1，确保每个标准的影响成比例且比较一致。与理想（A?）和负理想（A?）点的距离使用以下距离度量计算：(1)dp?(i)=∑j=1nwjp|rj??rij|p1p,dp?(i)=∑j=1nwjp|rj??rij|p1p，其中rj?和rj?分别是属性xj的归一化理想和负理想评分。与理想解决方案的相似度计算为：(2)Dp(i)=dp?(i)dp?(i)+dp?(i)，i=1,…,m;p=1,2,∞，Dp(i)最高的备选方案被认为是最好的。

模型的评估使用了识别模型的复杂性和准确性，这些指标也是符号回归基准测试（SRBench）[45]所使用的相同指标。准确性由R2表示，R2是回归分析中用于评估模型质量的指标。R2表示因变量的变化中可以由自变量解释的百分比[46]，[67]，计算公式为：(3) R2 = 1 ? ∑i=1n(yi ? y?i)2 / ∑i=1n(yi ? y?)2。RMSE是一种常用的指标，用于评估模型预测的准确性[68]，[69]。RMSE的计算公式为：(4) RMSE = 1/n ∑i=1n(yi ? y?i)2，其中y?是实际值的平均值，yi是第i个观测值的因变量实际值，y?i是第i个观测值的因变量预测值。

通过递归遍历表达式树来计算数学表达式中的算术运算次数，每次遇到算术运算时增加计数器，并在遍历完成后返回总数来评估复杂性。树中的每个节点都会检查算术运算，包括加法、减法、乘法、除法、指数运算等，并递归访问子节点以继续遍历，直到到达表示常量或变量的叶节点。例如，在表达式x2 + 3x + 2中，计数器会遇到两个加法运算、一个乘法运算和一个指数运算，因此总算术运算次数（即复杂性）为四个。

3. 案例研究
在以下部分中，将概述用于训练和评估SR模型的实验配置。第一小节介绍了本研究中使用的数据集及其预处理步骤。接下来提供了关于涡轮增压器速度传感器及其在汽车应用中的重要性的详细信息。然后解释了用于测试和性能评估的世界协调瞬态循环（WHTC）。

3.1. 涡轮增压器速度
涡轮增压通过压缩进气来提高发动机功率、效率和排放性能。然而，由于排气系统和进气系统之间的复杂反馈，特别是在扩展路线废气再循环和多级涡轮增压等技术下，它引入了控制挑战[70]。准确的涡轮增压器速度测量对于优化性能、可靠性和使用寿命至关重要[71]，[72]。研究探索了各种速度估计方法：Moro等人[73]使用声学传感器来估计角速度，Ponti等人[74]处理加速度计信号以确定瞬时速度，Holmbom等人[75]使用霍尔传感器直接测量速度。涡轮增压器速度通过调节压缩空气的输送直接影响燃烧效率和排放[76]。监测转子速度可以确保在不同条件下的最佳增压压力，并防止过速，过速可能导致机械故障[77]。连续的速度监测支持诸如废气门调整等保护措施，并实现诸如预测扭矩控制等高级策略[78]。因此，准确的速度测量对于在汽车应用中实现高性能、可靠性和先进的发动机控制至关重要。图2显示了涡轮速度传感器如何安装在涡轮增压器中。

3.2. 驾驶测试循环
WHTC是通过全面收集和分析全球重型车辆的操作模式和统计数据制定的，能够模拟重型车辆实际面临的驾驶场景。与发动机工作循环不同，车辆工作循环在较长时间内相对稳定，主要受交通条件变化的影响，使其成为开发标准化测试程序的合适基础。尽管测试重型车辆涉及复杂性，特别是与轻型车辆相比，但重型车辆排放认证过程要求使用发动机循环而不是车辆循环。这一要求促使代表性的车辆循环——世界协调车辆循环（WHVC）演变为代表性的瞬态发动机测试循环WHTC。通过集成一个新开发的能够适应多种发动机和传动系统技术的传动系统模型，WHTC能够准确反映当代重型发动机在瞬态工作条件下的性能。其定义依赖于发动机速度和负载的组合频率分布，确保了对重型发动机性能和排放的全面评估。此外，还通过推导出一个参考稳态循环——世界协调静止循环（WHSC）来加强这一评估，该循环包含15个发动机模式点，这些点是发动机速度和负载的不同组合。这些元素共同证明了WHTC在评估重型发动机性能和排放方面的有效性和可靠性[79]。

3.3. 内燃机数据
用于训练和评估SR模型的数据集来自一款Euro-VI重型卡车柴油发动机，该发动机具有6缸、13升配置和540马力。该数据集包含来自8个独立传感器的17,500个样本，所有样本均以10赫兹（Hz）的采样频率使用WHTC进行采样。传感器在发动机中的位置如图3所示，其中发动机速度、排气背压、增压温度、环境空气压力、发动机扭矩、增压压力和进气节气门（ITV）位置代表数据集的输入，输出由涡轮速度表示。需要注意的是，尽管数据集中包含了涡轮增压器速度，但这一测量值是使用安装在涡轮增压器外壳上的实验室级外部探头在发动机开发期间获取的。由于成本、封装限制、耐用性有限以及暴露于高热和振动载荷，这种探头不会安装在生产发动机中。因此，在实际车辆运行过程中通常无法获得涡轮增压器速度。在实际设置中，只能访问剩余的机载信号。

因此，数据集被分为一个包含生产发动机上可用的七个传感器信号的输入矩阵X，以及一个对应于外部探头测量的涡轮增压器速度的目标向量y。软传感器旨在从无需额外硬件的信号中重建涡轮增压器速度，从而可用于监控、诊断和控制。最终的输入-目标结构如下：(5) X = (x11, x12, ……, x1k, x21, x22, ……, x2k) ? ? ? ?, XN1, XN2, ……, XNk), y = (y1, y2, ?, yN)，其中k是传感器信号的数量，N是样本的数量。目标值y在图4中单独显示。图5展示了每个输入传感器信号与目标变量（涡轮速度）之间的关系及其相应的皮尔逊相关系数。散点图显示，一些输入（如排气压力和增压压力）表现出强烈的正相关，表明它们包含对建模任务有重要的预测信息。其他变量显示出较弱或负相关，表明它们对涡轮速度的直接影响有限。这些视觉和统计观察结果加强了所选特征的相关性，并证明了数据集包含用于开发基于数据的涡轮增压器行为模型的有意义的结构。

数据集被分为两部分：训练集和测试集。由于它代表一个时间序列，数据没有被打乱以保持其时间顺序。时间序列数据随时间呈序列排列，每个点都依赖于之前的点。打乱数据可能会导致模型准确性和性能的问题，而保持时间顺序可以确保模型从过去的观测中学习以进行预测。本研究中使用的划分比例为50%，因此8750个样本用于训练模型，8750个样本用于测试模型，如图6所示。

提出的TESSR数据建模流程将多种符号回归（SR）方法整合到一个统一的集成方法中，利用它们的优势同时通过结构化方法减轻弱点。TESSR流程包括四个阶段：预处理、选择、决策和评估，如图7所示。其主要贡献在于通过创新的交叉机制系统地组合SR模型，并应用多标准决策来选择最佳模型。

1. 预处理：数据被分为训练集和测试集。一组选定的SR算法（表1）在训练数据上训练以生成单独的符号模型或方程。这些方程是集成的基础元素。
2. 选择：在这个阶段，将单独的符号模型组合成集成。交叉过程使用最小二乘优化算法生成方程的线性组合，调整系数以最小化训练误差。使用符号计算工具（SymPy）[80]简化得到的模型，产生TESSR模型的候选方程。
3. 决策：根据三个标准评估候选模型：R2（准确性）、RMSE（误差）和模型复杂性（语法树中的运算次数）。每个标准都被赋予一个权重，反映决策者的优先级，并应用TOPSIS方法来确定最佳模型。这确保了在准确性和简洁性等竞争目标之间的平衡。
4. 评估：选定的TESSR模型在测试数据上进行评估。其性能使用标准化指标进行评估，包括R2和模型复杂性，遵循SRBench框架[45]。TESSR基于表1中总结的各种SR方法，并引入了一种新的集成策略，提高了它们的预测性能和泛化能力。通过结合交叉阶段和多标准决策，TESSR解决了平衡准确性、复杂性和鲁棒性的挑战，使其区别于现有的SR框架。

TESSR的主要贡献如下：
表1. TESSR流程中使用的符号回归方法。
| 算法 | 描述 | 参考文献 |
|---------------|-----------------------------------------|-----------------------------------------|
| GP | 基于遗传编程的SR | [51] |
| DSR | 带有策略梯度搜索的深度符号回归 | [52] |
| PySRU | 基于均匀随机全局搜索的SR | [53] |
| OperonSR | 带有高效参数识别的OperonSR | [54] |
| ITEA | 交互转换进化算法 | [55] |
| STR | 混合符号-数值变压器回归器 | [56] |
| BINGO | 可定制的基于GP的SR框架 | [57] |
| PySRMulti-Population | 多种群进化符号回归 | [58] |
| RILS-ROLS | 带有局部搜索和最小二乘的鲁棒SR | [59] |

• 一种新颖的交叉机制，用于线性组合符号方程，增强单个模型的预测能力。
• 使用TOPSIS的多标准决策框架，平衡准确性、复杂性和鲁棒性。
• 将多种SR方法整合到一个协调的集成中，提高对不同问题领域的灵活性和适应性。

5. 结果
由于目标不是找到最好的SR技术，而是证明TESSR始终表现优异，或者根据决策者的偏好找到最好的SR模型，因此每个SR模型都使用其默认设置运行以进行公平比较。还评估了七种额外的黑盒方法，并比较了它们的复杂性和准确性。尽管我们预计这些方法会复杂得多（最终也确实如此），它们分别是随机森林（RF）[63]、k-最近邻（kNN）[81]、支持向量回归（SVR）[61]、基于直方图的梯度提升（HGB）[82]、分类提升（CB）[64]、长短期记忆（LSTM）神经网络[62]以及简单的线性回归。验证性能通过5折交叉验证[83]进行，每个黑盒模型的超参数通过优化框架Optuna[84]进行了优化，得到表2中显示的配置。表3展示了本研究中评估的所有符号回归和黑盒模型的训练和测试指标，以及它们各自的方程复杂性和推理运行时间。这些结果清楚地显示了符号回归和黑盒方法之间的性能差距。除了线性回归和kNN之外，即使是最低效的基线模型也获得了比最强的符号回归模型（这里由ITEA代表）和黑盒模型（SVR代表）更高的预测准确性。这反映了可解释性和预测性能之间的众所周知的权衡。

当检查运行时间结果时，模型类别之间的区别变得更加明显。所有符号回归方法都表现出非常快的推理速度，执行时间从BINGO的约0.05毫秒到ITEA的约8.43毫秒不等，每次完整预测通过一次。线性回归本身是一个透明的白盒模型，也达到了类似的低运行时间，约为0.80毫秒，因此与符号回归解决方案处于相同的计算范围内。这进一步加强了模型简单性与快速评估之间的关系。相比之下，其余的黑盒学习器，如CB、HGB、RF、LSTM，特别是SVR，其运行时间从大约12毫秒到4594毫秒不等，这大大降低了它们在需要实时执行的应用中的适用性。重要的是要强调，所有实验都是在配备有第12代Intel Core i7 12850HX处理器（运行频率为2.10 GHz）、32 GB随机存取内存和64位Windows 10 Enterprise操作系统的本地计算机上进行的。在这台工作站上观察到的运行时间差异在嵌入式控制单元上会更加明显，因为嵌入式控制单元在更严格的计算限制下运行，通常只提供桌面硬件的一部分处理能力。因此，对于需要确定性的时间、有限的内存和低功耗的车辆内软传感器执行来说，符号回归的较低推理成本变得更加相关（见图8）。

(6)y?1=x0?x3?(x1?x4)2?x1?(x1+2.44?x5?x6)?x1?x3?x5
3x2
2?(0.33?x1?0.33?x6?(?x0+x2+x5)+0.68?x6)+1.33?x1+x4+x5
2?0.33?x6?(?x0+x2+x5)+0.68?x6,

(7)y?2=2?x5?(?x2+x3+x6),

(8)y?3=?1.55×105?x2+x5?(x5+9.63×104)x5,

(9)y?4=3.38×103?x32
(1.09?x4x6?4.8×10?2?x0?0.25?x0x6?1.02?x1?1.15?x3?1.77?x5)+1.18×105,

(10)y?5=?1.38×105?log(x32?x52)+4.33×103?log(x0?x2?x52)?1.50×105?log(x02?x12?x32?x6)?1.63×102?log(x02?x2?x32?x42)+1.58×105?log(x02?x12?x32?x52?x6)?7.78×103?log(x02?x1?x22?x32?x52?x62)+25.9?sin(x02?x1?x22?x32?x52?x62)+1.15×106,

(11)y?6=1.11×105?8.96×106x4,

(12)y?7=4.64×103x1?7.19×102x2+3.95×104,

(13)y?8=6.62x0+4.21×102x6+8.93×103log(x1)+1.08×103?5.50×104x6x5,

(14)y?9=9.79×104(1+(0.124x2x6?25.32x2?37.73x6+4.77×103)
((0.0015x6?0.686)(1.13×10?5x4+0.121x5+(5.07?0.104x1)(1.85×10?4x0?0.634)?1.99)?0.219cos(595x3?5.93×104)?0.0768)
(0.07x2x6?14.32x2?21.3x6+2700))?1)

其中：
•x0：发动机转速 [rpm]；
•x1：排气歧管压力 [kPa]；
•x2：空气增压温度 [°C]；
•x3：环境空气压力 [kPa]；
•x4：发动机输出扭矩 [Nm]；
•x5：空气增压压力 [kPa]；
•x6：进气节气门位置 [%]。

所有来自SR模型的训练输出组合及其对应的方程式都是使用最小二乘法线性组合的。对于每种组合，都会评估方程式的复杂性和准确性，并通过TOPSIS方法进行加权，该方法的目标是最大化准确性和最小化复杂性。

表3. TESSR中使用的SR模型和基线模型的训练和测试指标，包括每次运行的复杂性和平均推理时间（100次重复）。

模型 训练 测试 复杂性 运行时间 方程式
GP 0.96 14 10 7 0.95 85 72 36 1.40
DSR 0.94 34 93 20 0.96 34 51 40.09
PySRU 0.93 25 39 99 0.94 85 61 79 3.17
Operon 0.99 51 39 50 0.99 71 13 55 17
ITEA 0.99 71 11 65 0.99 81 78 42
BINGO 0.93 95 10 70 0.96 64 28 20.05
PySR 0.98 92 09 99 0.98 23 27 36
RILS-ROLS 0.99 61 13 44 0.99 61 13 77 10
STR 0.90 66 33 50 0.98 45 40 53
RF 0.99 93 60 0.99 96 74 39 94
CB 0.99 92 99 0.99 69 13 83 41
HGB 0.99 93 62 0.99 64 73 63 58
kNN 0.99 61 28 0.99 0.23 08 87 50
LSTM 0.99 71 14 0.99 78 94 30
SVR 0.99 10 45 0.99 89 87 48
Linear 0.97 43 30 0.97 83 61 79

下载：高分辨率图片（181KB）
下载：全尺寸图片

图8. 表3中所有模型的RMSE和复杂性值。

权重的选择取决于决策者（DM），他们可以根据具体需求调整准确性和复杂性标准之间的平衡。在TESSR方法中，TOPSIS中使用的性能向量V包括两个权重：w1和w2。为了清晰起见，这些权重分别称为准确性权重wa和复杂性权重wc。通过改变wc和wa，图表展示了最终方程式和指标变化的点。在图9中，我们展示了如何使用这种方法对SR模型进行加权。随着权重平衡向准确性倾斜，复杂性趋于增加，但由于TOPSIS方法，最优解仍然受到限制。结果表明，TESSR在形成帕累托前沿时始终能够提供准确性和复杂性之间的最佳平衡。显然，在某些情况下，最优解与TESSR中包含的某个SR模型相同，只是最小二乘算法应用的系数调整有所不同。

作为补充统计信息，图10中呈现的泰勒图[85]展示了从SR模型和TESSR解决方案中得出的标准差、RMSE和皮尔逊相关系数之间的关系，其中wa=0.94且wc=0.06。这种配置的准确率为R2=0.997，RMSE=1,210，复杂性为15次操作，平均每次运行的推理时间为1.766毫秒。对于这种权重组合，TESSR解决方案在准确性和复杂性方面介于Operon和RILS-ROLS之间。Operon的准确率为R2=0.997，RMSE=1.355，复杂性为17，而TESSR的结果相对于Operon减少了10.7%的误差和11.8%的复杂性。相反，RILS-ROLS的准确率为R2=0.996，RMSE=1.344，复杂性为10，而TESSR的误差减少了9.97%，但复杂性增加了50%。因此，如果决策者更重视较低的复杂性，在图9所示的wa=0.847和wc=0.153的标准下，TESSR模型将比RILS-ROLS更受青睐。

下载：高分辨率图片（182KB）
下载：全尺寸图片

图9. 不同准确性权重wc和复杂性权重wa组合下TESSR模型与各个SR模型的比较。泰勒图中的灰色圆形网格编码了RMSE值，提供了误差大小的视觉参考，而外部弧线表示相关系数，并突出了预测数据与参考数据之间的线性对应关系的强度。水平和垂直轴表示标准差，捕捉了预测值在样本中的分散情况。尽管如图11所示ITEA展示了最高的名义准确性，但RILS-ROLS和TESSR模型的分布最接近目标。最后，图12显示了TESSR模型在测试数据集上的预测结果，证实了其强大的预测能力、低复杂性和每次推理的快速运行时间（1.766毫秒），进一步支持了其在实时部署中的适用性。

当分析TESSR方程式（15）时，TESSR模型与RILS-ROLS结果之间的相似性变得清晰。TESSR模型的方程式，权重wa=0.94和wc=0.06，是通过使用最小二乘法线性组合RILS-ROLs的方程式（13）和DSR方程式（7）得到的。这种组合解释了TESSR模型的15次操作复杂性，其中包括从RILS-ROLs继承的10次操作、从DSR继承的4次操作以及用于求和的1次额外操作。

(15)yTESSR=5.75x0+2.67×10?1x5
(?x2+x3+x6)+3.66×102x6+7.75×103log(x1)+9.4×102?4.77×104x6x5

下载：高分辨率图片（294KB）
下载：全尺寸图片

图10. 泰勒图，展示了各个SR方法和TESSR模型解决方案（wa=0.94和wc=0.06）之间的标准差、RMSE和皮尔逊相关系数之间的关系。

下载：高分辨率图片（255KB）
下载：全尺寸图片

图11. 小提琴图显示了评估期间各个SR模型预测的涡轮速度分布。

为了检查该框架在测量干扰下的表现，进行了一个额外的实验，在每个输入变量中添加了高斯噪声，使用了预定义的信噪比（SNR）。这一步骤是为了模拟工业数据中常见的条件，其中传感器信号可能受到机械振动、电磁效应和组件退化的影响。考虑了四种噪声水平，从无噪声参考情况（SNR =∞ dB）到严重退化的情况（SNR = 10 dB）。相应的结果显示在图13中。在无噪声情况下，模型的RMSE为1210 rpm，R2为0.997。在SNR = 30 dB时，RMSE增加到3648 rpm，R2为0.975。在SNR = 20 dB时，RMSE达到6783 rpm，R2为0.910。在最低SNR水平（10 dB）下，模型的RMSE为552,042 rpm，R2为?597.64，围绕参考线的分布明显更宽。这些结果表明了TESSR预测在噪声增加时的变化情况，并为不同信号退化程度下的预期行为提供了参考。

下载：高分辨率图片（411KB）
下载：全尺寸图片

图12. TESSR对测试数据集的预测，准确率为R2=0.997。

应用SR的动机在于它能够在嵌入式系统中满足低计算成本和高可解释性的需求，特别是在成本敏感的行业中。嵌入式系统通常需要低计算成本以减少能耗、尺寸要求和硬件成本，从而提高盈利能力和功能安全性。尽管传统的黑盒模型被广泛使用，但它们在可解释性和计算效率方面存在局限性，往往体积庞大且难以在资源受限的系统中部署。相比之下，包括从SR衍生的白盒模型提供了透明的模型架构，能够准确解释过程动态，并便于轻松识别预测变量的相对重要性。SR以简单方程的形式生成明确的符号关系，可以高效地实现在嵌入式软件中，从而提高整个系统的效率和可解释性。这种方法对于各种高容量、低成本的应用非常有利，有助于详细分析和结果比较，这对于过程控制、优化和监控至关重要。

下载：高分辨率图片（475KB）
下载：全尺寸图片

图13. TESSR模型在不同信噪比下的回归图，显示了从无噪声情况（SNR =∞ dB）到30、20和10 dB的测量-预测关系变化。

6. 讨论
在这项研究中，我们通过基于准确性和复杂性指标评估了几种SR模型，解决了选择最佳SR模型进行软传感器建模的挑战。我们的全面分析表明，所提出的TESSR模型在多个评估标准上始终优于其他SR模型。具体来说，TESSR模型实现了0.997的R2值，表明其与数据的拟合度良好。这种预测性能得到了TESSR模型可解释性的支持，其简化后的方程式平均复杂度为15次算术运算。通过利用MADM算法（如TOPSIS），我们为决策者提供了一个系统化的框架，用于基于多个标准（包括准确性和计算效率）评估和比较SR模型。考虑到准确性和复杂性之间的权衡，决策者能够根据TOPSIS研究确定哪种SR方法最适合他们的特定需求。此外，我们的研究还强调了TESSR的多功能性和鲁棒性，因为它在各种软传感器建模场景和数据集中始终实现了高预测性能。TESSR模型的性能归功于其整合了许多SR模型的优势，从而在保持模型可解释性的同时成功捕获了数据中的复杂关系。此外，TESSR模型的计算效率使其特别适合工业环境中的实时应用，因为在这些应用中快速决策至关重要。TESSR模型的可扩展性和效率还通过其与替代建模方法（如人工神经网络）相比的计算复杂性降低得到了进一步强调。

7. 结论和未来研究
本研究的结果强调了SR在软传感器建模中的实用性，它在准确性、可解释性和计算效率之间提供了平衡。特别是提出的TESSR方法作为一种强大的方法，用于整合多种SR模型并优化模型性能。通过提供一个系统化的决策和模型选择框架，本研究有助于推进SR在工业环境中的应用，促进明智和有效的决策过程。未来的研究可以扩展TESSR框架，包括（i）检查其在更大数据集或更复杂建模任务中的可扩展性[86]，（ii）改进个别SR模型的组合以调整预测准确性和计算成本，（iii）将TESSR应用于金融、医学诊断或环境监测等领域，以评估其在不同环境中的表现，（iv）结合特定领域信息以适应特定工业应用，包括将机械模型与数据驱动组件相结合的混合灰盒配置[87]、[88]、[90]，以及（v）研究TESSR与其他回归方法的可解释性[91]、[92]。此外，未来的工作还将（vi）利用基于现有指南[93]、[94]的正式可解释性评估，考虑代数复杂性、结构属性、归因保真度和各种操作条件下的稳定性[95]、[96]，并对比基于物理-数据驱动的混合模型的TESSR的相对优势[95]。进一步的研究还将（vii）通过报告具有不确定性量化的符号模型的校准和预测区间覆盖来处理不确定性[97]，并且可以使用准确性、复杂性和延迟的帕累托前沿来总结结果[98]，以支持符号模型和混合建模方法的可重复比较[98]。

CRediT作者贡献声明：
Iron Tessaro：概念化、数据整理、形式分析、调查、方法论、软件、可视化、撰写——原始草稿。
Helon Vicente Hultmann Ayala：撰写——审阅与编辑、监督、方法论。
Viviana Cocco Mariani