评估一种新型的增量输入神经网络在多变量气温预测中的应用

《Engineering Applications of Artificial Intelligence》：Evaluating a novel incremental-input neural network for multivariate air temperature forecasting

大气温度预测中提出增量输入神经网络模型，通过解决梯度消失与爆炸问题提升高维非平稳数据建模能力，实验显示预测误差降低6.1%-5.8%，适用于气象等复杂时序场景。

　　

宋振宇|宋双宇|宋双宝|谭立兴|唐成|季俊凯

中国台州大学信息工程学院，台州225300

摘要

空气温度预测（ATP）在气象应用中起着至关重要的作用，例如农业规划、灾害预测和能源管理。然而，现有方法往往难以应对非平稳和非线性时间序列数据带来的挑战。在本文中，我们提出了一种新颖的增量输入神经网络（IINN）模型，旨在提高多变量ATP过程的准确性和稳定性。通过利用增量输入机制，IINN解决了梯度消失和梯度爆炸等关键问题，同时增强了模型对高维数据集的鲁棒性和非线性建模能力。在首尔大都市夏季温度数据集上进行的全面评估表明，IINN在两个预测时段内均表现出先进的性能。具体来说，与表现最佳的基线模型相比，IINN在最低温度预测上的均方误差（MSE）降低了6.1%，在最高温度预测上的MSE降低了5.8%。因此，这项工作为空气温度预测领域带来了重大进展，提供了一种轻量级、高效且可解释的解决方案，适用于复杂非平稳时间序列的建模。所提出的方法为多变量温度时间序列建模提供了新的实用范式，并在环境预测场景中展现出广阔的应用潜力。

引言

空气温度预测（ATP）是气象科学中的关键任务，在农业规划、能源调度和灾害预警系统中有着广泛的应用。传统的数值天气预报（NWP）模型基于物理方程模拟大气动态。然而，这些模型计算成本高昂，在处理非线性动态系统时遇到挑战（Bauer等人，2015年）。随着全球气候变化的加剧，温度时间序列的时空复杂性显著增加。传统预测方法通常依赖于平稳性假设，即时间序列的均值和方差必须保持不变。为了在这种假设下处理非平稳数据，通常会在建模过程之前应用差分或季节性分解（Burillo等人，2017年）。然而，温度序列经常受到气候变率和极端天气事件的影响，导致强烈的非平稳性和非线性特征。因此，强制平稳性可能会破坏原始数据的动态信息，从而导致预测误差的累积（Liang等人，2022年）。此外，温度预测需要模拟长期气候趋势，但传统方法受限于固定的时间窗口，难以捕捉长期依赖性，从而影响其长期预测准确性（Zheng等人，2025年）。这些局限性凸显了开发更高效、更准确的预测方法的必要性，同时也为设计先进的预测模型提供了理论和技术支持。

人工智能（AI）和深度学习（DL）的最新进展使得能够开发出更有效的复杂气象数据建模方法。DL方法可以自动学习多层次、高维特征，非常适合多模态数据建模任务，具有显著的灵活性。然而，这些方法通常对数据和计算资源要求较高，并且对输入数据的质量敏感。此外，它们缺乏可解释性，限制了其在需要物理可解释性的领域（如气象预测）的应用。尽管一些DL模型在大规模预测任务中表现良好，但它们仍难以捕捉局部极端天气事件。为了解决计算成本、模型可解释性和不同预测尺度下的性能下降问题，本研究引入了一种轻量级的增量输入神经网络（IINN）。该模型的概念受到树突神经元模型（DNM）（Todo等人，2014年）的启发，该模型已在包括风速预测（Song等人，2020年；Ji等人，2021年）、股票指数估计（Zhou等人，2016年；Tang等人，2022年）、传染病趋势预测（Li等人，2023年；Dong等人，2021年）和分类问题（Ji等人，2020年；Tang等人，2024年）在内的多个领域得到成功应用。然而，在这些应用中一个常见的挑战是DNM在高维场景下表现不佳。由于训练过程中执行的累积乘法操作，梯度消失或梯度爆炸严重限制了其适用性，导致了众所周知的维度灾难。此外，与单变量时间序列预测相比，多变量时间序列（MTS）预测涉及多个特征变量，增加了这些梯度相关问题的复杂性。为了克服这些限制，IINN引入了增量输入机制，减轻了可能导致过早收敛或训练失败的梯度相关问题，改进了输入层处理方案，同时利用了分支层的非线性转换能力，增强了输入和输出之间的非线性映射，提高了构建模型的表达能力。所提出模型的详细结构和计算过程在第3节中描述。

此外，我们对空气温度MTS进行了初步分析，包括自相关检验和平稳性测试（Shao等人，2024年；Liu等人，2022年）。分析确认了强烈的时间依赖性和非平稳模式的存在。对于多变量ATP任务，鉴于IINN的层次结构和参数规模，我们采用了带权重衰减的自适应矩估计（AdamW）（Zhou等人，2024年）来增强模型对高维数据的非线性表示能力。为了评估其性能，我们将ATP任务分为最低温度和最高温度预测，并将IINN与十个强大的预测模型在五个数据集上进行了比较。实验结果表明，IINN实现了更准确的温度预测，凸显了其作为通用且可靠的MTS预测模型的潜力。因此，本研究不仅为气象数据的高效利用提供了理论支持，还推动了AI在跨学科科学领域的应用。本研究的主要贡献和创新如下。

• •
  提出了一种新颖的IINN模型，用于执行多变量ATP，以实现MTS预测任务的高效和稳定处理。
• •
  IINN采用了轻量级设计，降低了计算复杂性，同时增强了输入和输出之间的非线性映射能力，提高了模型的可解释性。
• •
  增量输入机制有效缓解了梯度消失和梯度爆炸问题，提高了模型在高维数据学习场景中的稳定性和收敛性。
• •
  在多个数据集上获得的实验结果表明，IINN实现了高预测准确性，并表现出强大的泛化能力；这些发现突显了其在MTS预测案例中的竞争力及其扩展到其他应用领域的潜力。

本文的其余部分安排如下。第2节回顾了相关工作，第3节介绍了IINN的模型架构、学习算法和研究动机。第4节描述了实验设置、数据集、结果和统计分析。最后，第5节讨论了结论、局限性和未来工作方向。

相关工作

相关工作

传统的ATP方法主要包括NWP和统计方法。NWP基于大气动力学方程模拟大气演化过程，这些方程难以建模且对初始条件敏感。在现有的统计方法中，指数平滑（Bose等人，2020年）和灰箱预测（Huang和Yu，1997年；Vivian等人，2024年）已被广泛应用，自回归积分移动平均（ARIMA）模型（Murat等人，2018年）也被广泛应用

增量输入神经网络

所提出的IINN的整体结构如图1所示。该模型由四个主要组成部分构成：输入层、分支层、膜层和胞体层。输入层接收多变量特征，然后通过增量输入突触进行处理。分支层执行非线性转换，接着是膜层，它将获得的输出线性组合。最后，胞体层应用激活函数产生最终结果

实验研究

本节描述了在五个数据集上进行的广泛实验比较，以评估IINN模型的性能。为了确保实验结果的统计可靠性并满足显著性测试的要求，表4和表5中呈现的所有定量评估指标均作为30次独立运行的平均值报告。

结论

在这项工作中，我们提出了一种用于多变量ATP任务的新IINN模型。IINN引入了增量输入机制，有效缓解了梯度消失和梯度爆炸问题，提高了模型在MTS预测任务中的稳定性和收敛性。通过结合轻量级架构和改进的非线性映射能力，所提出的IINN解决了传统统计、机器学习和深度学习方法的关键局限性。全面的实验表明

CRediT作者贡献声明

宋振宇：撰写——审稿与编辑、撰写——原始草稿、软件、资源、项目管理、方法论、数据管理、概念化。宋双宇：可视化、验证、监督、调查、形式分析、数据管理。宋双宝：验证、监督、软件、调查、资金获取。谭立兴：撰写——审稿与编辑、可视化、监督、资源、概念化。唐成：撰写——审稿与编辑、监督

利益冲突声明

作者声明他们与任何组织或实体没有关联或参与，无论是在财务利益（如酬金；教育资助；演讲局参与；会员资格、雇佣、咨询公司、股票所有权或其他股权利益；以及专家证词或专利许可安排）方面，还是在非财务利益（如个人或专业关系、隶属关系、知识或信念）方面，都与讨论的主题或材料无关

致谢

本研究部分得到了中国台州大学人才发展项目（编号：TZXY2018QDJJ006）、江苏省自然科学基金（编号：BK20220619）、日本学术振兴会KAKENHI（编号：JP25K21340）和国家自然科学基金（编号：62172292、62203069和62473225的支持。