可物理解释的机器学习方法用于检测建筑立面的生物群落形成情况：在强烈视觉干扰环境下，高光谱成像与RGB成像技术的对比分析

《BUILDING AND ENVIRONMENT》：Physically interpretable machine learning for robust fa?ade bio-colonisation detection: Comparative insights from hyperspectral and RGB imaging under hard visual interference

　　胡雪晴|菲利普·苏布里埃|米歇尔·弗拉明克|梁海普|内森·范登博斯切
根特大学工程与建筑学院建筑与城市规划系建筑物理研究组，比利时根特

**摘要**
可靠地检测遗产建筑立面上的生物侵扰对于预防性保护至关重要，但由于复杂的视觉干扰（如阴影、湿渍和污染）这一任务仍然具有挑战性。尽管基于RGB的方法和深度学习越来越多地被采用，但它们对颜色特征的依赖性经常限制了在变化光照条件下的鲁棒性。本研究提出了一个物理可解释的机器学习框架，结合了高光谱成像（HSI）和极端梯度提升（XGBoost）技术，用于自动化生物侵扰映射。以比利时的一座中世纪城堡为例，构建了一个3D光谱立面点云模型，并系统地比较了RGB、HSI以及融合的RGB-HSI方法。结果表明，RGB模型在干净表面上获得了较高的F1分数（F1=0.97%），但在视觉上不干净的区域，由于颜色特征与矿物质背景重叠，其误报率（FPR）非常高（FPR=0.73%）。相比之下，HSI模型通过利用与叶绿素相关的红边光谱特征保持了良好的区分能力（FPR=0.022%）。光谱效率分析表明，在4波段多光谱（MSI）级别上性能有显著提升，误报率从8.8%下降到2.6%，而全31波段HSI则提供了最高精度的诊断结果。此外，在训练过程中加入“硬负样本”对于降低融合模型的误报率至关重要，将误报率从60%降低到了1.9%。敏感性分析显示，不需要详尽的注释；一个小型、具有代表性的数据集（例如20,000个像素）就能确保稳定的检测并减少人工工作量。所提出的框架能够对遗产立面进行定量的、基于光谱的条件评估。

**引言**
生物退化是指由生物体引起的物理和/或化学损伤[1],[2],[3]，这是建筑立面上最常见的退化现象之一[4],[5]。这种现象在全球的文化遗产地中广泛存在，包括意大利的蒙扎大教堂[6]、伊布兰地区的巴洛克遗产[7]、中国的乐山大佛[8]和柬埔寨的吴哥通[9]。虽然现代立面上的植被通常因其生态效益（如减少能源消耗、缓解城市热岛效应和增强生物多样性[10],[11],[12]）而受到推崇，但在自然暴露条件下，遗产立面上的生物侵扰通常被视为有害的，对遗产保护构成了持续的挑战[5],[13],[14]。与设计的绿色立面不同，遗产表面上的生物侵扰通常是不可控的，并受环境条件驱动，因此需要准确的检测和量化以用于保护目的。

建筑立面上的生物侵扰指的是在外部表面形成可见的生物层或生物膜。在本研究中，它特指以藻类为主的生物膜，这些生物膜通常是历史材料上的先驱殖民者[15],[16]。这些生物膜会导致表面变色并形成有颜色的锈层，掩盖历史信息，同时它们的代谢副产物会溶解碳酸盐矿物并加速与湿气相关的退化过程（如冻融损伤[1],[17],[18]）。此外，生物膜引起的表面粗糙化和水分滞留为后来苔藓、地衣和高等植物的生长创造了有利条件[19],[20]。苔藓和地衣通过化学反应、机械应力和长时间湿润进一步加剧材料退化[13],[21],[22],[23]，而高等植物可能在裂缝或灰浆接缝中生根，对立面构成直接的结构风险[25]。温度、降雨和太阳辐射等环境因素强烈调节这些过程[26],[27],[28],[29],[30]，预计持续的气候变化将通过增加建筑表面的微气候变化进一步放大生物退化风险[32],[33],[34]。

为了支持建筑遗产的预防性保护，已经开发了一系列无损检测（NDT）技术来监测历史立面，旨在早期发现退化现象同时尽量减少物理干预[35],[36]。常用的方法包括人工视觉检查、红外热成像（IRT）、紫外（UV）诱导荧光成像、基于RGB的方法和高光谱成像（HSI）[35],[37],[38],[39],[40]。由于直观性强，人工视觉检查仍然是最广泛采用的方法[35]。然而，这种方法劳动密集且耗时，其结果高度依赖于检查人员的专业知识，导致主观性较强且主要是定性评估[35],[41]。IRT通过检测表面温度异常来识别潜在的生物侵扰[42]，但温度变化的解释往往具有不确定性，通常需要补充技术进行验证[43],[44]。UV诱导荧光成像利用生物膜或有机材料在UV激发下的荧光响应来检测表面侵扰[42]；然而，并非所有生物体都会发出可检测的荧光信号[45]，且UV暴露可能对光敏材料造成潜在风险[46]。基于RGB的方法已被广泛用于检测立面退化[47],[48]，依靠颜色和纹理线索来识别表面异常。近年来，这样的RGB方法越来越多地与基于结构的光度测量（SfM）摄影测量相结合，以支持大规模立面评估和遗产记录[49],[50],[51]。在这种组合框架中，SfM作为一种几何重建技术而不是直接检测方法，使RGB图像能够转化为高分辨率的三维立面模型。这种整合扩展了基于RGB的检测的空间范围，并有助于生成立面规模的退化分布图。然而，尽管几何表示得到了增强，但在SfM支持的工作流程中，退化识别仍主要受RGB图像信息的限制[52],[53]。由于RGB数据仅编码外观特征而没有明确的材料或生化描述符，当生物侵扰在视觉上与基底相似时（例如石头表面的灰色地衣），它们的区分性能受到限制。相比之下，HSI在像素级别捕获连续的窄带光谱信息，为材料区分和植被监测提供了明显优势[53]。由于色素沉着、含水量和生理结构的差异，生物侵扰表现出不同的光谱特征[54],[55]。特别是可见光（VIS）和近红外（NIR）区域的特征吸收和反射行为，使得植被和矿物基底之间能够可靠地区分[55]。自2010年代以来，高光谱相机的小型化和便携性的提高加速了它们在户外遗产病理学中的应用[56],[57],[58],[59]。传统的高光谱分析通常依赖于光谱指数方法，通过结合有限数量的特征波长来提高对特定目标的敏感性[60],[61]。这些方法包括直接应用现有指数和为特定场景开发定制的指数[59],[62],[63]。例如，归一化植被指数（NDVI）已被广泛用于评估植被覆盖率和健康状况[61],[64]。最近，研究人员越来越多地采用基于机器学习（ML）算法的全谱分类策略，如支持向量机（SVM）、随机森林（RF）、极端梯度提升（XGBoost）、K-最近邻（KNN）和LightGBM[55],[59],[65],[66],[67]。例如，李等人成功地将LightGBM模型应用于大足石刻表面的退化检测，在验证数据集上达到了0.98的分类准确性[59]。

尽管HSI在建筑病理检测方面显示出巨大潜力，但现有应用主要集中在通用退化分类上[59],[68]，而对生物侵扰的细粒度识别仍探索不足。最近的研究[69]表明，结合RGB空间信息的多光谱（MSI）指数可以提高检测能力，但该方法依赖于稀疏的光谱带，使得完整光谱轮廓的诊断潜力未被充分利用。准确性和鲁棒性还有进一步提高的空间。李等人指出了未来工作需要减少边界和污染区域的误分类[69]。视觉上相似的干扰会降低泛化能力，目前的研究缺乏HSI和RGB之间的直接光谱域比较。因此，尚不清楚视觉线索（如颜色、纹理）是在增强区分能力还是引入了光照依赖的噪声，在视觉混淆的条件下。此外，现有的工作流程主要基于片段的2D图像[59],[68],[69]，缺乏空间连续性和地理参考预测，这限制了它们转化为保护所需的立面规模退化图的能力。空间嵌入的缺失也限制了将生物退化模式与建筑物理驱动因素（如微气候、排水路径）相关的能力，阻碍了机制理解。此外，关于“有效样本量”的概念在建筑病理检测中的研究还不够充分。相关领域使用学习曲线来确定关键样本阈值[70],[71],[72]，指出小数据集可能导致性能膨胀[73],[74]，而大数据集则成本高昂[74],[75]，并且可能会产生递减收益[70]。现有的建筑病理学研究依赖于固定的数据集规模[59],[68],[69]，使得报告的性能结果是饱和还是数据限制的产物尚不清楚。对于案例稀缺且注释成本高的遗产背景而言，样本效率研究具有实际意义。最后，端到端的深度学习（DL）框架往往缺乏对潜在物理机制的可解释性，限制了其在工程环境中的信任度和应用。

为了解决这些不足，本研究引入了一个物理可解释的HSI-ML框架，用于鲁棒的立面生物侵扰检测。主要贡献包括：（1）多模态特征比较，使用RGB、HSI和融合的RGB-HSI特征构建XGBoost分类器，以量化光谱信息相对于纯视觉线索的性能提升；（2）通过训练过程中控制引入混淆样本来增强视觉干扰下的区分能力；（3）在遗产立面点云上的全3D部署和验证，展示了在空间上下文化环境中的鲁棒性；（4）数据效率分析，确定了可靠检测所需的最小注释要求，为工程应用提供了实际指导；（5）使用SHapley Additive Explanations（SHAP）分析对模型决策进行物理解释，揭示了学习特征与生物体特定光谱特征之间的内在联系。结果提供了科学基础和实际稳健的指导，用于建筑遗产的数字管理和预防性保护。

**材料与方法**
本研究建立了自动化、基于光谱的遗产立面上生物侵扰检测的全面框架（图1）。该方法论分为五个连续阶段：（1）数据采集，涉及基于无人机的的高分辨率RGB和高光谱图像收集；（2）3D重建，整合了辐射校正和SfM摄影测量，将2D光谱数据投影到3D几何点云上；（3）数据集构建……

**结果**
本节中呈现的所有结果都在测试集上进行了评估。为了确认模型训练充分且没有过拟合，相应的训练和验证损失曲线在附录A中提供。

**模型解释**
本节通过分析SHAP结果以及三个样本类的光谱指纹分布，解释了模型的决策机制及其物理基础。分析解释了第3.1节中观察到的基于HSI的模型的卓越鲁棒性。

**结论**
本研究对RGB和高光谱成像（HSI）工作流程进行了比较评估，用于自动检测遗产立面上的生物侵扰，应用了机器学习于全尺度3D空间重建。主要发现如下：
1. HSI在复杂的视觉环境中比RGB具有更好的鲁棒性。
2. HSI的鲁棒性明显优于基于RGB的方法，在阴影或黑暗区域，误报率（FPR）从73%降低到2.2%。

**作者贡献声明**
胡雪晴：撰写——原始草稿、可视化、验证、软件、方法论、调查、资金获取、形式分析、概念化。
菲利普·苏布里埃：撰写——审查与编辑、验证、软件、调查、形式分析、数据管理。
米歇尔·弗拉明克：撰写——审查与编辑、监督、资源管理。
梁海普：撰写——审查与编辑、监督、资源管理、资金获取。
内森·范登博斯切：撰写——审查与编辑、监督。

**利益声明**
作者声明没有已知的竞争财务利益或个人关系可能影响本文所述的工作。

**致谢**
本工作得到了中国 Scholarship Council（授权号202406090055）的支持。作者感谢VSC（Flemish Supercomputer Center）提供的资源和服务，该中心由研究基金会 - Flanders（FWO）和Flemish Government资助。此外，本研究还获得了Flemish Government在“Onderzoeksprogramma Artifici?le Intelligentie (AI) Vlaanderen”项目下的部分资金支持。