《Advanced Engineering Informatics》：Mitigating class imbalance in deep learning-based multi-class structural damage recognition using an informatics-oriented data augmentation framework
编辑推荐：
本文提出基于信息学的多类结构损坏数据增强框架，通过高保真虚拟环境生成合成数据并自动标注，有效缓解严重类别不平衡问题。实验表明该方法在渗漏和剥落等少数类别上F1值分别达到92.95%和87.16%，较真实数据集提升26.72%和15.56%，同时保持多数类别稳定性能。相较于算法重加权方法如Focal Loss，数据增强在极端数据稀缺场景下更具普适性和可靠性。
Pa Pa Win Aung|Almo Senja Kulinan|Minsoo Park|Dongyoung Ko|Gichun Cha|Seunghee Park
韩国庆尚北道水原市Jangan-gu Seobu-ro 2066号，成均馆大学全球智慧城市系，邮编16419
摘要
深度学习在自动化结构损伤识别方面取得了显著进展；然而，现实世界的数据集仍然存在严重不平衡的问题，其中裂缝类数据占主导地位，而诸如剥落、膨胀和渗漏等关键缺陷的数据则相对较少。这种数据稀缺性导致模型存在偏见，大大降低了模型的泛化能力和可靠性。为了解决这一问题，本文提出了一种基于信息学的数据增强框架，该框架利用高保真度的虚拟环境系统性地平衡多类结构损伤数据。该框架结合了针对类别的平衡策略和定制的多标签注释，以控制增强样本的生成和分布，确保数据代表的平衡性，并消除了劳动密集型的手动标注需求。实验评估表明，对于少数类别的数据，性能有了显著提升：在分割任务中，渗漏类的F1分数达到了92.95%，剥落类的F1分数达到了87.16%，分别比仅使用真实数据的基线提高了26.72%和15.56%；同时，多数类别的准确性也得到了保持。对比结果表明，像Focal Loss这样的算法平衡方法在数据严重不平衡的情况下表现不佳，这证实了基于信息学的数据增强为结构健康监测和智能基础设施检查提供了可靠、可扩展且方法论上必要的基础。
引言
随着城市基础设施的快速扩张和民用建筑的老龄化，需要高效且自动化的方法来识别结构损伤，以保障公共安全和可持续性。利用先进的人工智能（AI）和深度学习技术的自动化结构健康监测（SHM）系统已成为解决传统人工检测局限性的一种有前景的解决方案，因为传统方法往往耗时且具有主观性[1]。深度学习的最新进展使得基于视觉的模型能够实现高精度的损伤分割和识别，这对于有效评估基础设施的健康状况至关重要[2]、[3]、[4]。
然而，在部署这些深度学习模型时，一个根本且持续存在的挑战是类别不平衡问题[5]。在现实世界中的结构损伤数据集中，关键损伤实例非常罕见，从而导致数据分布严重偏向未受损类别[6]、[7]。这种不平衡使得模型产生偏见，导致少数损伤类别的泛化性能差且分割准确性低，而这些类别往往是检测中最关键的[8]。尽管已经探索了多种方法，但算法层面的重新加权无法创造新的特征多样性，而简单的数据增强方法也仅限于现有的特征。例如Focal Loss（FL）等算法重新加权方案在面对极端数据稀缺时可能会破坏模型训练的稳定性。传统的数据增强方法也仅限于现有特征，而其他数据增强方法可能无法生成足够的多样性和复杂性来真正解决问题[9]。此外，获取真实世界的损伤图像成本高昂，需要大量的手动标注，并且通常受到环境条件、可访问性和安全问题的限制。
与此同时，为了应对数据量有限的情况，最近也探索了基于算法的方法，如小样本学习（few-shot learning），这些方法旨在通过元学习和基于属性的适应来从少量训练样本中进行泛化[10]、[11]、[12]、[13]。尽管这些方法很有前景，但它们通常需要复杂的任务条件，并且可能无法直接缓解多类别不平衡问题，因此需要补充的数据中心解决方案。关于合成数据和类别不平衡的最新研究表明，大多数基于生成对抗网络（GAN）或合成少数类过采样（SMOTE）的方法仅适用于分类任务，视觉真实性有限，或者缺乏自动标注[14]、[15]。以工人或机器为中心的方法主要针对大型物体，而仅关注裂缝的研究则无法处理重叠或多类别损伤情况[16]、[17]、[18]。领域随机化虽然引入了多样性，但往往与现实的结构和环境条件不匹配。因此，现有的方法不足以生成可扩展、具有真实感且自动标注的数据集，从而无法解决结构损伤识别中的多类别不平衡问题。
本研究基于我们之前的工作[19]，该工作证明了基于3D引擎的合成裂缝数据集在缓解数据稀缺性和领域偏移方面的有效性。然而，早期研究仅限于单一损伤类型（裂缝），主要关注提高形态多样性，而本研究则解决了结构健康监测中更广泛和更关键的挑战，即包括剥落、膨胀和渗漏在内的多种损伤类别之间的严重类别不平衡问题。为此，如图1所示，我们提出了一个多类合成数据生成框架，该框架结合了针对类别的平衡策略和定制的多标签注释，使得模型训练更加公平，并提高了代表性不足的损伤类型的识别能力。这一进展在方法论和实践上明显超越了之前的研究，为AI驱动的结构损伤监测提供了一个可扩展和可泛化的范式。本研究的主要贡献如下：
- •
开发了一个多类合成数据生成框架，用于生成包括裂缝、剥落、膨胀和渗漏在内的结构损伤的真实2D图像。
- •
引入了一种针对类别的平衡策略和定制的自动化多标签注释，以确保可扩展性并消除手动标注的需要。
- •
该框架成功缓解了严重的类别不平衡问题，对于关键少数类损伤（渗漏类达到0.92，剥落类达到0.87），从而提高了模型的整体鲁棒性和泛化能力。
- •
该方法通过与最先进的算法方法（Focal Loss）进行严格对比测试，证明了数据层面的增强是解决多类别SHM不平衡问题的不可或缺的方法论手段。
- •
所提出的框架设计用于集成到现场监测系统中，确保了未来部署的可行性。
本文的其余部分结构如下：第2节概述了与类别不平衡和计算机视觉（CV）中合成数据使用相关的现有研究；第3节描述了所提出的方法论；第4节详细介绍了实验设置、数据集准备和性能评估；第5节深入讨论了实验结果；第6节对本文进行了总结，并提出了未来研究的方向。
节选内容
结构损伤识别中的类别不平衡挑战
利用计算机视觉（CV）进行结构损伤识别对于基础设施维护和安全至关重要[1]、[4]；然而，它通常受到严重类别不平衡的影响[5]、[6]、[7]，某些数据类别被过度代表，而其他类别则代表性不足。在结构损伤识别中，当常见损伤（如裂缝）主导数据集时，就会发生类别不平衡
提出的多类合成数据框架
为了解决结构损伤识别中的类别不平衡问题，我们开发了一个多类合成数据生成流程。该方法能够在受控环境中模拟各种结构损伤类型，同时确保精确的注释和可扩展性。如图2所示，该流程包括三个关键阶段：环境构建、损伤模拟以及使用定制的自动注释和生成进行迭代训练。
实验评估
本节详细介绍了用于结构损伤识别的CV模型的实验设置、数据集准备和评估。通过比较不同数据集配置下的模型性能，分析了合成数据增强对边界框检测、分割准确性和类别平衡效果的影响。
讨论
本节对实验结果进行了详细分析，重点讨论了所提出框架的效果、类别平衡以及对结构损伤检测和分割性能的提升。此外，还分析了研究过程中发现的局限性和挑战，以及未来研究的潜在方向。
结论
本文提出了一种生成真实2D合成图像的框架，以解决多类结构损伤识别中的类别不平衡问题。在我们的实验设置中，我们发现，在极端数据稀缺的情况下，仅依赖Focal Loss等纯算法策略不足以稳定训练，可能会导致关键少数类别的性能下降。相比之下，所提出的方法
CRediT作者贡献声明
Pa Pa Win Aung：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、软件、方法论、数据管理、概念化。Almo Senja Kulinan：可视化、软件。Minsoo Park：撰写 – 审稿与编辑、监督。Dongyoung Ko：验证、软件。Gichun Cha：监督、资源管理。Seunghee Park：监督、资源管理、资金获取。
写作过程中生成式AI和AI辅助技术的声明
在准备本工作时，作者使用了Gemini 2.5 Pro和GPT-5.0来提高文章的可读性和语言表达。使用这些工具后，作者根据需要对内容进行了审阅和编辑，并对发表文章的内容负全责。
利益冲突声明
作者声明以下可能的利益冲突/个人关系：Seunghee Park表示获得了韩国国家研究基金（National Research Foundation of Korea）的财务支持。如果还有其他作者，他们声明没有已知的可能会影响本文工作的财务利益或个人关系。
致谢
本研究得到了韩国国家研究基金会（NRF）的支持，该基金由韩国政府（MSIT）资助[RS-2024-00336270]和[RS-2025-02223612]。此外，本研究还得到了韩国土地、基础设施和交通部（MOLIT）的“智慧城市创新人才教育计划”资助。
