多模态知识增强语言模型，具有在线测试时自适应能力，用于跨领域工业数据表预测

《Engineering Applications of Artificial Intelligence》：Multimodal knowledge-enhanced language model with online test-time adaptation for cross-domain industrial tabular prediction

　　

王天宇|张迈特|曲静波|刘志豪|李念|王希文森

上海交通大学-上海工程技术大学联合研究所，中国上海

摘要

在工业场景中，可靠地预测关键变量需要针对结构化表格数据的有效模型。传统的数据驱动方法通常缺乏对多样化数据分布的泛化能力，而现有的迁移学习技术在整合多模态和异构工业特征方面存在困难。尽管语言模型（LMs）在语义任务中表现出了强大的能力，但它们系统地适应结构化数值预测的能力仍然有限，非静态因素如传感器退化和条件变化进一步带来了挑战。为了解决这些问题，本文提出了一种跨领域建模方法，该方法结合了专门的LM预训练、参数高效的微调以及轻量级的无梯度测试时适应。数值、分类和文本变量被嵌入到统一的多模态表示中，并通过基于变压器的LM架构进行处理。预训练利用了通用文本语料库和异构工业表格数据集，随后通过低秩适应进行高效的领域特定微调。在在线推理过程中，通过提示优化和协方差矩阵适应进化策略进一步细化模型表示，以应对部署时的分布变化。在多个行业的20个工业数据集上的广泛实验表明，与最先进的表格预测和迁移学习基线相比，所提出的方法能够持续表现出强大的性能，验证了其在实际工业预测任务中的有效性和鲁棒性

引言

在现代工业系统中，可靠地预测关键变量至关重要，因为许多与过程相关的变量难以或延迟直接测量（Perera等人，2023年）。因此，数据驱动的预测建模已成为过程优化和自动化的重要工具。传统方法如偏最小二乘和支持向量回归虽然易于开发，但在处理非线性、高维和时间相关的工业数据时却常常遇到困难。尽管最近的深度学习架构取得了显著进展（Zheng和Ge，2025年），但大多数预测模型仍然针对特定领域设计，难以在不同工业数据分布之间重用（Y. Li等人，2025年）。实际上，领域变化通常需要重新训练或重新设计，这限制了其可扩展性。

迁移学习已通过领域适应、微调和混合策略被广泛探索以解决这一问题（Nejjar等人，2024年；Zhan等人，2022年；X. Zhang等人，2025年；Xie等人，2024年；Zhao等人，2025年；Qian等人，2024年；Gim等人，2023年；Zhang等人，2023年；Yang等人，2024年；G. Chen等人，2022年）。然而，仍存在两个挑战。首先，大多数现有研究假设领域相对同质，主要输入为数值数据，这限制了异构工业信息的利用（Xu等人，2024年）。其次，这些方法主要在离线环境中运行，因此处理部署时的变化（如传感器漂移和原材料波动）的能力有限，这可能导致样本超出分布范围和模型逐渐退化（Rezki等人，2025年）。

预训练语言模型（LMs）的最新进展，特别是大型语言模型（LLMs），为工业AI提供了新的机会，使知识整合和多模态推理得以增强（Ren等人，2024年）。现有研究已将LLMs应用于诊断、数字孪生、代码生成、规划和软感知等工业任务（Lin等人，2025年；Liu等人，2024年；Y. Sun等人，2024年；Xia等人，2024年；Xia等人，2025年；Cao等人，2025年；Tong等人，2025a；Tong等人，2025b）。然而，将数值、分类和文本特征统一在单个框架内进行通用表格预测的 modeling 仍然不够充分。同时，测试时适应（TTA）作为一种提高在线分布变化下鲁棒性的有前景的方法已经出现（Zhang等人，2022年；Boudiaf等人，2022年；D. Chen等人，2022年；Yuan等人，2023年），最近的工业研究已开始将其扩展到故障诊断和RUL预测（Zhu等人，2024年；K. Wu等人，2025年；H. Sun等人，2024年；Y. Zhang等人，2025年）。然而，大多数现有方法依赖于基于梯度的更新，这引入了不可忽视的计算开销，并限制了在资源受限的边缘设备上的实际部署。这些局限性促使人们提出了云-边缘协作框架，将基于LM的异构表示学习与高效的在线适应相结合。

为了解决上述问题，本文提出了一种跨领域的工业表格预测方法，该方法结合了基于LM的异构表示学习和无梯度、无标签的在线测试时适应（图1）。首先通过特征分词和基于注意力的融合将数值、分类和文本特征转换为统一的多模态表示。基于这种表示，首先在通用文本语料库上进行BERT类似的编码器-解码器模型预训练，然后在多样化的工业源领域数据集上进行预训练，随后通过低秩适应（LoRA）适应到小目标领域数据。在在线推理过程中，通过协方差矩阵适应进化策略（CMA-ES）进一步优化可学习的提示，以实现无需反向传播的有效适应。

在20个工业数据集上进行了广泛的实验，包括11个专有数据集和9个公共基准测试数据集，总共有144,227个样本。将所提出的方法与一系列机器学习、深度学习、基础模型和工业预测建模基线进行了比较。结果表明，在所有数据集和评估指标上，包括RMSE和PCC方面，与现有方法相比都有持续的改进。此外，对所提出方法的不同变体进行比较进一步验证了第二阶段预训练和在线适应机制的有效性。这项工作的主要贡献不在于个别技术本身，而在于它们为具有异构特征和部署时变化的跨领域工业表格预测所提供的统一设计。贡献总结如下：

• •
  解决了更一般的工业表格预测场景，其中多个领域可能具有异构的数值、分类和文本特征，部分特征空间不匹配，以及目标领域的变化。
• •
  开发了一种统一的多模态LM方法，通过结构化特征表示、两阶段渐进式适应和轻量级的在线测试时适应，将语言模型预训练与工业表格预测连接起来。
• •
  在多样化的真实世界工业数据集上进行了广泛的跨领域实验，以验证所提出方法在异构数据组成和非静态部署条件下的有效性和鲁棒性。

章节片段

工业预测建模

随着计算能力的提高，工业预测建模得到了快速发展。传统的数据驱动方法如偏最小二乘（PLS）和支持向量回归（SVR）逐渐被基于CNN和Transformer的深度神经网络所补充，以捕捉工业数据中的非线性、时间和高维依赖性。注意力机制和基于图的建模进一步改进了动态、多速率数据的表示学习。

问题阐述

首先回顾了迁移学习的传统设置（一种密切相关的知识共享技术），并基于此从数学上说明了它与本文研究的问题之间的差异。图2也以图形方式展示了这些差异。

方法论

如图3所示，所提出的方法由三个模块组成：具有多模态特征表示和任务特定头的BERT类似LM架构、在云端进行的两阶段模型预训练和参数高效的微调，以及在边缘进行的高效在线测试时适应。技术细节将在下文详细说明。

实验

为了全面评估所提出方法的有效性和泛化能力，在涉及直接相关的专有应用和经过验证的公共基准测试数据的各种工业数据集上进行了广泛实验。这些数据集代表了不同的工业领域，如食品生产、燃煤电厂、能量存储系统以及通用回归和分类。对于评估协议，采用的标准

结论

本文提出了一种多模态知识增强的表格预测方法，用于跨领域工业场景，旨在解决在异构结构数据下泛化能力有限和适应部署时分布变化不足的问题。构建了一种专门的语言模型架构，通过结构化嵌入和基于注意力的融合来联合编码数值、分类和文本特征，并采用两阶段预训练策略

CRediT作者贡献声明

王天宇：撰写——原始草稿，可视化，验证，软件，方法论，数据管理，概念化。张迈特：验证，方法论。曲静波：可视化，数据管理。刘志豪：撰写——审阅与编辑，软件。李念：撰写——审阅与编辑，监督，资源管理，项目管理，资金获取。王希文森：撰写——审阅与编辑，监督。

利益冲突声明

作者声明他们没有已知的可能影响本文报告工作的竞争性财务利益或个人关系。

致谢

这里介绍的工作得到了中国国家自然科学基金（项目编号：52275263）的部分支持，以及上海交通大学-东京工业大学合作研究与开发种子基金的支持。