基于多任务神经网络的方法，用于缓解建筑能耗负荷预测中的数据不平衡问题

《ENERGY AND BUILDINGS》：Multi-task neural network-based method to mitigate data imbalance in building energy load forecasting

建筑能耗预测中提出基于多任务神经网络的解决方案，通过聚类决策树识别五种和三种运营模式，结合共享模块与任务特定模块，利用加权损失函数平衡不同模式数据量差异，实验验证该模型在数据不平衡场景下较单任务模型及数据增强模型提升预测精度和鲁棒性。

　　

张朝波|张健|王汉宁|王凤（Eva）

香港理工大学建筑环境与能源工程系，中国香港

摘要

神经网络（NN）模型已被广泛用于建筑能耗负荷预测。然而，建筑能耗数据往往存在数据不平衡问题，因为不同运行模式（如周末和工作日）下的数据量差异显著。这种不平衡可能会导致NN模型产生偏差，从而降低数据较少模式的预测准确性。本文提出了一种基于多任务的NN方法来克服建筑能耗负荷预测中的数据不平衡问题。该方法首先使用聚类决策树算法识别建筑运行模式，然后开发一个多任务NN模型来预测不同模式下的能耗负荷。与传统NN模型不同，该模型包含两个独特的模块：共享模块和任务特定模块。共享模块捕获所有模式共有的不变特征，而任务特定模块学习模式依赖的特征。此外，设计了一个加权损失函数，以确保每个模式在模型训练过程中对总损失的贡献相等。使用两栋真实建筑的能耗负荷数据验证了所提出的方法。聚类决策树算法为一栋建筑识别出五种不同的运行模式，另一栋建筑识别出三种不同的运行模式，每种模式的数据集大小差异显著。选择了三种基准模型与多任务NN模型进行性能比较，包括单任务NN模型、通过数据增强改进的单任务NN模型以及多个单任务NN模型。结果表明，与所有三种基准模型相比，多任务NN模型在处理不平衡数据时表现出更优的性能，准确性和鲁棒性均显著提高。

引言

数据驱动模型在建筑能耗负荷预测方面展现了巨大潜力[1]。它们可以提供准确且快速的能耗负荷估计，支持建筑能源系统的控制策略[2]、故障诊断[3]和改造干预[4]。已经使用了多种数据驱动模型进行建筑能耗负荷预测，例如随机森林、梯度提升树、支持向量回归和神经网络（NN）[5]。在这些模型中，NN模型使用最为广泛，大约占数据驱动建筑能耗负荷预测研究的50%[6]。该领域使用了多种类型的NN模型，如多层感知器NN[7]、循环NN[8]、卷积NN[9]、图NN[10]和Transformer[11]。与其他模型相比，NN模型在从大规模建筑能耗数据中学习模式方面更为强大，因为它们越来越多的参数使得数据拟合更加准确[12]。此外，NN架构的灵活性是另一个关键优势，可以无缝集成物理信息机器学习[13]、迁移学习[14]、强化学习[15]和联邦学习[17]等修改方法，以满足该领域的特定需求。

然而，NN模型在建筑能耗负荷预测中的性能受到建筑能耗数据固有不平衡的显著影响[18]。建筑物通常在多种模式下运行，不同模式下的数据量差异显著。例如，周末的数据量仅为工作日的五分之一。因此，如果NN模型在周末的预测准确性较低但在工作日较高，它仍可能被认为是“训练有素的”。这是因为用于训练NN模型的损失函数通常计算平均误差，使其对数据较少的模式的敏感性较低。2021年，张等人对不平衡训练数据对数据驱动建筑能耗负荷预测模型的影响进行了全面研究[18]。他们的结果表明，增加（或减少）训练集中特定运行模式的数据量可以显著提高（或降低）该模式下NN模型的预测准确性。

为了解决数据不平衡问题，提出了两种方法：基于多模型的方法和基于数据增强的方法。基于多模型的方法旨在为各种模式训练多个模型。例如，张等人训练了五个NN模型来预测建筑中五种运行模式的冷却负荷[18]。结果表明，与训练单个模型相比，训练多个模型将平均绝对误差降低了9.8%。田等人也设计了一种基于多模型的建筑能耗负荷预测方法[19]。他们训练了两个数据驱动模型分别预测建筑在启动和正常运行条件下的能耗负荷。基于多模型的方法的准确性比基于单模型的方法高出12.0%。基于数据增强的方法旨在生成合成训练数据，以增加数据较少模式的数据量，从而提高这些模式下数据驱动模型的准确性。例如，张等人提出了一种基于生成对抗网络的方法来创建假期的建筑电力负荷数据[20]。使用增强数据训练的NN模型进行建筑电力负荷预测，结果显示在假期期间的准确性显著提高（提高了16.1%）。金等人还采用了广泛使用的数据增强技术——合成少数样本过采样技术，为数据较少的建筑类型生成合成能源性能样本[21]。结果表明，数据增强提高了数据驱动模型估计数据较少建筑类型能源性能的准确性。

然而，上述两种方法存在以下局限性。对于基于多模型的方法，使用有限数据训练特定模式的NN模型可能导致过拟合，从而在预测该模式之外的数据时准确性较差[19]。基于数据增强的方法可以提高数据较少模式下NN模型的准确性，但可能会降低数据丰富模式下模型的准确性，因为增加数据较少模式的训练数据会减少数据丰富模式的训练数据比例[18]。多任务学习有望解决上述局限性。与基于多模型的方法不同，多任务学习可以训练一个能够同时预测多种模式下能耗负荷的单一模型[22]。它使NN模型能够将知识从数据丰富模式传递到数据较少模式，有效降低过拟合风险并提高数据较少模式的准确性[23]。此外，多任务学习可以学习每个模式的任务依赖特征[24]。这有效地减少了模式间的干扰，并进一步提高了数据较少模式的准确性。此外，多任务学习可以在模型训练期间使用加权损失函数来平衡每个模式对总损失的贡献[25]。这样，一个模式的数据量对其他模式的预测准确性的影响有限。因此，在采用多任务学习时，通常不需要使用数据增强来生成额外数据。

一些研究人员在建筑能耗负荷预测中应用了多任务学习以及类似的知识共享方法——迁移学习。例如，恒提出了一个结合多任务学习和门控循环单元的NN模型用于多能源负荷预测[26]。结果表明，多任务学习通过促进它们之间的知识共享提高了冷却、供暖和电力负荷的预测准确性。同样，曲等人也使用了多任务NN模型进行多能源负荷预测[27]。多任务NN模型在预测冷却、供暖和电力负荷方面取得了高准确性。张等人开发了一种基于迁移学习的NN方法，能够将从数据丰富建筑中的冷却负荷数据中学到的知识传递到数据较少建筑中[28]。结果表明，知识传递提高了数据较少建筑上NN模型的冷却负荷预测准确性。然而，现有研究主要集中在通过在不同负荷类型之间传递知识或从数据丰富建筑向数据较少建筑传递知识来提高负荷预测准确性。据我们所知，很少有研究探讨多任务学习如何缓解建筑能耗负荷预测中的数据不平衡问题。

为了填补上述研究空白，本文提出了一种基于多任务学习的改进NN模型（称为多任务NN模型），以解决建筑能耗负荷预测中的数据不平衡问题。本研究的主要贡献是探讨多任务NN模型在缓解数据不平衡问题方面的有效性。这一点在现有文献中基本上被忽视了。因此，我们采用了标准的多任务NN架构，而不是基于长短期记忆（LSTM）或Transformer的更高级设计。此外，应用了聚类决策树算法根据建筑能耗数据识别建筑运行模式。多任务NN模型由共享模块和任务特定模块组成。共享模块提取模式不变特征，将知识从数据丰富模式传递到数据较少模式，而任务特定模块捕获模式特定特征，以减少模式间的干扰。在该模型中，多个任务对应于不平衡运行模式下的负荷预测，而现有研究将不同的负荷类型视为单独的任务。此外，开发了一个加权损失函数，以确保每个模式在训练过程中对总损失的贡献相等。为了验证性能，将多任务NN模型在不平衡建筑能耗数据上的预测准确性和鲁棒性与三个基准模型进行了比较：单任务NN模型、通过数据增强改进的单任务NN模型以及多个单任务NN模型。多任务NN模型为缓解建筑能耗负荷预测中的数据不平衡问题提供了新颖且有效的解决方案，能够在不平衡的建筑能耗数据下实现准确和可靠的预测。

方法论

图1展示了基于多任务NN模型的建筑能耗负荷预测方法的示意图。该方法包括两个步骤：建筑运行模式识别和多任务NN模型训练。运行模式识别使用聚类决策树算法自动揭示建筑运行模式。多任务NN模型训练旨在开发一个多任务NN模型，以预测不同模式下的能耗负荷。

数据来源

本研究使用两栋真实建筑的能耗数据集来验证所提出的多任务NN模型的性能。第一栋建筑位于中国深圳，其运行数据记录于2016年，采样间隔为10分钟。数据集包括六个可用变量：冷却负荷、室外空气温度、室外空气相对湿度以及三个时间相关变量（月份、一天中的小时和日期类型）。

多任务神经网络模型的优势

多任务NN模型在缓解建筑能耗负荷预测中的数据不平衡方面非常有效。它在不平衡数据下实现了高准确性、强鲁棒性、可接受的计算成本和易于维护的特点。

•

高准确性：多任务NN模型的高准确性主要归功于其共享层和任务特定层。共享层实现了不同模式之间的知识共享，而任务特定层提取了模式特定的特征

结论

建筑能耗数据通常不平衡，导致神经网络（NN）模型在预测数据较少运行模式的能耗负荷时准确性降低。本文提出了一种基于多任务的NN方法来克服建筑能耗负荷预测中的数据不平衡问题。该方法首先使用聚类决策树算法识别建筑运行模式，然后训练多任务NN模型来预测各自的能耗负荷。

CRediT作者贡献声明

张朝波：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、软件、方法论、资金获取、正式分析、数据整理、概念化。张健：验证、软件。王汉宁：撰写——原始草稿。王凤（Eva）：撰写——审阅与编辑、监督、资源获取。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

致谢

本文得到了香港理工大学战略招聘计划下的RAPs启动资金（编号：P0057944和P0056060）以及香港特别行政区研究资助委员会的一般研究基金（编号：15208625）的支持。