用于建筑立面光伏集成（BIPV）分割的深度学习：不同立面设计中与人工标注的比较

《BUILDING AND ENVIRONMENT》：Deep learning for BIPV segmentation on facades: Comparison with human annotations across facade designs

建筑一体化光伏（BIPV）立面识别与自动分割方法研究。通过构建包含400个项目的基准数据集，比较Mask R-CNN与SegFormer模型性能，发现后者像素级交并比达0.69。用户研究表明光泽表面、隐形单元及高光伏占比设计对人类识别存在挑战。模型输出用于估算BIPV能量产出，数据集与模型已开源。

　　

Ayca Duran|Pedram Mirabian|Panagiotis Karapiperis|Christoph Waibel|Bernd Bickel|Arno Schlueter

苏黎世联邦理工学院（ETH Zurich）建筑与建筑系统系主任，瑞士苏黎世

摘要

建筑集成光伏（BIPV）在立面上的应用是城市环境中重要的但未得到充分利用的太阳能来源。通过基于视觉的系统自动化识别立面上的BIPV可以帮助指导设计建议并扩展太阳能资产地图。与屋顶光伏（PV）系统不同，由于头顶图像的可见性有限、视觉变化大以及缺乏结构化数据集，立面BIPV的识别较为困难。本研究提出了一种基于深度学习（DL）的方法，利用街道级和网络图像自动分割建筑立面上的BIPV面板。创建了一个新的基准数据集，包含400个带有详细像素级标记和项目属性的BIPV项目。评估了两种模型架构：基于掩码的区域卷积神经网络（Mask R-CNN）和SegFormer，以及人类基准。SegFormer在像素级指标上优于Mask R-CNN。一项针对没有特定领域专业知识的人类注释者的用户研究提供了关于人类表现的比较见解，揭示了识别立面BIPV时常见的挑战。结果表明，专门为此任务训练的DL模型可以比人类注释者的平均表现更准确地分割BIPV面板，SegFormer的IoU达到了0.69，而人类注释者的平均IoU为0.42。用户研究还表明，具有缎面处理、不可见电池以及光伏与立面比例超过一半的BIPV在视觉敏感区域更具识别难度，因此应优先考虑这些类型。分割模型的输出也被用来估算BIPV的能源产量。该注释数据集和模型可供未来研究使用。

引言

将可再生能源技术整合到城市环境中已成为实现碳中和和气候适应性的核心策略。其中，由于模块化、可扩展性和成本下降，太阳能光伏（PV）的应用越来越广泛[1]。随着屋顶表面逐渐饱和，城市需要利用垂直立面来达成碳中和目标[2]、[3]。尽管相互遮挡是一个限制因素，但高层建筑中的垂直表面积通常比屋顶面积大一个数量级[3]、[4]。因此，当在阳光充足的垂直立面上安装建筑集成光伏（BIPV）时，就代表了一个利用这一未开发潜力的关键机会[5]、[6]。在北京、阿德莱德等大城市的城市规模研究中，立面被确定为城市中最大的未开发光伏集成表面[3]、[8]。

安装在立面上的光伏系统可以以附加或完全集成的形式部署，既提升建筑物的能源性能，也改善其建筑设计。这些系统可以作为太阳能玻璃、覆层或幕墙组件实现，使被动建筑围护结构转变为主动发电表面。技术进步和成本降低显著提高了立面BIPV系统的可行性和吸引力[9]，尤其是在仅靠屋顶空间无法满足建筑能源需求或因土地面积不足或监管限制而无法进行新项目开发的高层和混合用途建筑中[1]、[10]。

近年来，包括屋顶和立面集成光伏在内的太阳能发电装机容量迅速增长[11]。国际市场分析预测，全球BIPV立面市场的复合年增长率将超过20%，表明其扩张速度将快于更广泛的建筑行业和屋顶光伏市场[12]、[13]。仅在瑞士，2020年至2024年间就安装了超过900个立面光伏系统[14]。虽然目前立面集成光伏在已部署系统中的占比较小，但国家和全球的部署情景表明，随着屋顶潜力的饱和，未来十年其贡献将系统性地增加[12]、[13]。预计到2035年，立面光伏将占每年新增光伏装机容量的8-10%，相当于每年新增200-250兆瓦的立面光伏设施[15]。

尽管立面光伏已从孤立的建筑项目发展成为常见的建筑立面组成部分，但获取详细和结构化数据仍然是一个挑战。与在公共数据集中越来越被记录的屋顶光伏不同[16]、[17]，立面集成光伏系统往往不在开放和标准化的存储库中[18]。缺乏详细数据导致对现有BIPV立面的潜力、多样性和认知存在关键的知识空白。因此，能够大规模自动识别和描述立面集成光伏的能力有助于支持城市能源建模、公众认知的实证研究以及未来BIPV立面的数据驱动设计。此外，当代BIPV应用主要部署在现代建筑上[18]，这些建筑在不同地区的立面类型和材料选择上越来越趋同[19]，这意味着从现有安装中获得的见解在地理范围之外仍然具有广泛的相关性。

使用计算机视觉（CV）和深度学习（DL）检测和分割光伏系统已成为自动化识别和绘制太阳能资产的有前景的方法。尽管屋顶光伏的识别已得到广泛研究[20]，但立面BIPV系统的识别研究较少，且面临独特挑战。与屋顶光伏不同，立面BIPV通常可以通过倾斜或街道级别的图像捕捉到，但这些图像可能被树木、邻近建筑或街道设施遮挡，并受到透视失真的影响。这些挑战也适用于立面解析和材料分类研究，其中光伏是一个缺失的类别[21]、[22]、[23]。玻璃表面的反射和非标准面板几何形状会进一步复杂化分割性能。立面BIPV系统在颜色、透明度和模块设计上通常具有更大的多样性，使其在视觉上比屋顶光伏系统更为突出[18]。尽管其重要性日益增加，但缺乏立面BIPV的数据集仍然是一个瓶颈，而全球屋顶光伏和太阳能电站的数据集则是可用的[17]、[24]。与可以使用头顶图像检测到并已进行大规模映射的屋顶光伏不同，立面光伏系统通常仅出现在建筑师、太阳能安装商和制造商的小规模作品集中，因此不在开放的能源清单和城市数据集中[18]。

立面上的BIPV系统还可能影响建成环境的视觉感知，引发关于它们如何融入城市美学和公共空间的问题[25]、[26]。虽然一些设计追求无缝的建筑集成，但其他设计可能在视觉上更为显眼[27]。从规划的角度来看，了解公众对城市景观中立面BIPV的感知越来越重要，尤其是在城市采取鼓励或强制在现场产生可再生能源的政策时[25]，以及立面光伏系统被越来越多采用的情况下[14]。以往的研究主要集中在评估BIPV立面是否美观[25]，或量化光伏面板占据观察者视野的比例[26]、[28]，而不是评估人们识别它们的能力。随着BIPV立面视觉特征的日益多样化[18]，公众是否能在实际环境中识别和定位立面上的BIPV的问题尚未得到解答。

本研究通过弥合上述数据、技术和感知方面的差距来解决这三个挑战。首先，为了应对垂直能源资产的数据基础设施不足问题，创建了一个新的手动注释数据集，包含400个BIPV项目，用于训练和评估DL模型。其次，为了克服现有立面解析工具的局限性，我们实现并验证了一种基于DL的方法，用于自动分割建筑立面上的BIPV面板。第三，为了参与关于人类视觉识别的讨论，本研究将DL模型的结果与专家（真实）和没有特定领域专业知识的人类的注释结果进行了比较。这种比较提供了关于立面BIPV系统视觉可识别性的见解，并突出了人类和机器感知可能存在的差异。考虑到项目属性，评估了分割模型和人类的表现，以制定视觉敏感区域BIPV立面的设计策略。模型生成的分割掩模用于估算BIPV系统的能源产量，作为概念验证，展示模型如何提取活跃的光伏区域并将其纳入能源估算中。

本研究的主要贡献包括：

• •
  一个新的开源基准数据集，包含665张带有项目属性的立面BIPV图像。
• •
  实现了两种用于建筑立面BIPV分割的DL模型。
• •
  考虑BIPV立面设计，比较了DL模型和人类的表现，以评估BIPV的可识别性。

本文的其余部分结构如下：第2节回顾了关于屋顶和立面光伏检测和分割的相关文献；第3节描述了方法论，包括数据集创建、数据预处理、模型架构、评估指标和用户研究；第4节基于训练数据、DL模型架构、人类基准、BIPV立面设计以及对其对BIPV立面设计和能源产量估算的影响进行了展示和讨论；第5节总结了主要发现。

部分摘录

屋顶光伏

近年来，使用遥感和DL方法检测和分割屋顶附加或集成光伏安装已得到广泛研究。这些方法利用高分辨率的航空和卫星图像及DL模型来大规模识别光伏安装。该领域的早期尝试之一是DeepSolar项目，该项目将卷积神经网络（CNN）应用于美国的全国卫星图像，识别出超过一百万个光伏安装

方法论

尽管越来越多的努力用于分析立面的BIPV应用，但据作者所知，此前没有研究专门针对立面BIPV的分割提供了一个基准数据集，也没有评估DL模型和人类识别的性能。本研究通过包含四个主要步骤的方法论解决了这些研究空白：数据集创建、数据预处理、模型训练和用户研究以及性能评估（图1）。

训练数据

通过数据增强来扩展训练数据集，以提高模型的泛化能力，因为数据集的样本数量有限。增强技术（包括几何变换和颜色抖动）使数据集大小增加了七倍。从质量上看，增强有助于减轻过拟合现象，特别是在早期训练阶段，模型在有限数据上训练时验证性能会迅速下降。表3比较了三种数据模式：

结论

本研究提出了一个基于DL的自动化框架和用户研究，用于使用街道级和网络图像分割建筑立面上的光伏面板。评估了两种模型架构：Mask R-CNN用于实例分割，以及SegFormer。这些模型使用一个新创建的数据集进行了训练和验证，该数据集包含来自400个BIPV项目的665张图像，带有详细的像素级注释和项目属性[49]。实验结果表明，基于Transformer的语义模型

CRediT作者贡献声明

Ayca Duran：概念化、方法论、调查、数据管理、形式分析、初稿撰写、可视化。

Pedram Mirabian：概念化、调查、方法论、数据管理、可视化。

Panagiotis Karapiperis：概念化、调查、方法论、数据管理。

Christoph Waibel：监督、撰写 - 审稿编辑。

Bernd Bickel：监督、撰写 - 审稿编辑。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

作者感谢苏黎世联邦理工学院（ETH Zurich）D-ARCH建筑技术研究所提供的A/T博士奖学金支持。