《Journal of Building Engineering》：Combining confocal microscopy and deep learning for concrete microstructure analysis
编辑推荐：
自动评估混凝土冻融抗性气孔参数的CLSM-U-Net方法研究
Viktor Kostic | Jithender J. Timothy | Thomas Kr?nkel | Christoph Gehlen
慕尼黑工业大学（TUM）工程与设计学院，材料工程系，材料科学与测试主任，建筑材料中心（cbm），德国慕尼黑，81245
摘要
目前用于表征混凝土微观结构及其抗冻融性能的标准化方法耗时较长，并且由于需要手动评估空气孔隙的参数（如大小、分布、含量和间距）而存在不确定性。本研究提出了一种先进的方法，将共聚焦激光扫描显微镜（CLSM）数据与深度学习技术相结合。使用不同的数据组合训练U-net分割模型，以精确检测抛光混凝土试样表面的水泥浆、骨料和空气孔隙的位置。通过利用开发的语义分割模型，实现了一种自动化评估空气孔隙参数的图像处理工作流程，并将其与之前进行的循环测试中的人类评估结果进行了直接比较。虽然所有模型类型得出的空气孔隙参数结果都与人类评估结果一致，但研究表明，利用CLSM获得的高度数据可以提高空气孔隙预测的准确性。本研究的发现为混凝土微观结构评估的自动化提供了有希望的进展，并为进一步的方法开发和混凝土性能研究奠定了基础。
引言
硬化混凝土的微观结构是其耐久性的决定性因素。更准确地说，硬化水泥浆的多孔系统决定了混凝土基体中的物质传输性能和抗侵入性能。深入理解混凝土微观结构中的性质和机制，可以有针对性地改变混合物的组成，从而在特定气候条件下延长其使用寿命。例如，添加空气孔隙引入剂可以向水泥基体中引入人工空气孔隙，为冻结水的膨胀提供额外的空间，并中断毛细效应，从而减少内部应力并提高混凝土的抗冻融性能[1]，[2]。硬化水泥浆中空气孔隙系统的大小、分布、含量和间距被认为是影响混凝土抗冻融破坏性能的关键参数[1]，[2]，[3]，[4]。为了表征空气孔隙参数，DIN EN 480-11中规定的方法使用Rosiwal线性扫描法：通常通过手动显微镜检查切割、研磨和抛光的试样表面，计算并测量试样表面上绘制的评估线上的交叉空气孔隙弦长。然而，这种标准化方法非常耗时且成本高昂，因为需要持续数小时的评估过程。此外，正如最近的一项循环测试所示，DIN EN 480-11中的手动方法结果存在较高的不确定性[6]。虽然这不仅归因于人为因素，也源于测试方法本身，但其自动化有望减少结果的偏差[7]。
自动化空气孔隙参数评估的方法通常依赖于增强混凝土试样表面的对比度以突出空气孔隙的位置[8]，[9]。这通常是通过将抛光的试样表面涂黑并用白色粉末（如白色锌粉）填充空气孔隙来完成的。然而，评估混凝土的抗冻融性能时仅需要考虑水泥浆中的空气孔隙，排除制备过程中产生的裂缝或其他损伤[2]，[5]，[10]，[11]。由于粉末也会填充粗骨料中的裂缝或空洞，因此需要对试样进行广泛而细致的预处理。因此，需要手动修复与抗冻融性能无关的裂缝或空气孔隙[8]，[9]。因此，此类制备的质量取决于操作人员的感知和经验。此外，这些方法无法区分水泥浆和骨料成分[7]，因为只有两个相（空气孔隙和背景）。新型方法（如PPV-Factor [12]）依赖于试样表面的二维评估，能够区分水泥浆、空气孔隙和骨料相。虽然这些方法相对于Rosiwal线性扫描法[13]具有优势，因为可以从二维表面分析中获取更多信息，但它们通常需要更复杂和繁琐的试样预处理才能准确分割水泥浆、骨料和空气孔隙。为了自动分离这些组分，已经建立了使用pH指示剂来增强水泥浆和骨料对比度的预处理方法[14]，[15]，但这增加了试样制备的成本和时间投入。
基于神经网络的分割方法在避免繁琐的试样表面预处理方面显示出巨大潜力[16]，[17]，[18]，[19]，[20]。然而，这些模型的训练数据（从而其性能[21]，[22]）通常仅依赖于手动标记的RGB图像数据，其中空气孔隙位置是基于人类对图像数据的感知重建的[16]，[19]，[20]，可能会遗漏一些空气孔隙的位置。
更可靠但越来越复杂的方法，如在对比度增强前后对试样进行重叠平板扫描[17]，或对图像进行三维重建[18]，已被开发出来以生成更准确的空气孔隙系统表示。然而，这些方法通常具有较低的放大倍率和分辨率（每像素
共聚焦激光扫描显微镜（CLSM）在避免繁琐的试样预处理的同时，具有巨大的潜力。通过捕获表面高度图谱以及高放大率和分辨率的RGB图像，可以识别和区分混凝土试样抛光表面内的高度差异，类似于基于对比度的方法[24]，[25]，[26]，[27]。在[25]中，使用CLSM的高度图谱和基本的图像分割算法成功评估了符合DIN EN 480-11 [5]要求的水泥浆试样的空气孔隙参数。然而，该评估仅基于表面高度图谱进行，没有考虑砂浆和混凝土混合物中存在的骨料。
在[26]中，CLSM被用来自动标记抛光混凝土试样表面的空气孔隙位置，使用基于阈值的二值分割操作，但作者没有报告对与抗冻融性能无关的骨料内空气孔隙的任何修正。
在[27]中，建立了一个由CLSM图像数据引导的标记工作流程。通过结合RGB图像和高度图谱，提取了抛光混凝土试样表面中空气孔隙、骨料和水泥浆像素的准确位置，从而创建了一个可用于神经网络应用的标记图像数据集。本文旨在在此初步工作的基础上，研究使用CLSM数据通过深度学习方法自动分割硬化混凝土微观结构的潜力。将使用[27]中的数据集，并扩展它来训练U-net分割模型[28]，使用不同的CLSM输入数据组合。因此，U-net架构被调整为多类分割，以区分CLSM图像数据中的空气孔隙、骨料和水泥浆像素。随后实现了一个图像处理工作流程，以在定量实际应用分析中跟踪性能。因此，根据DIN EN 480-11 [5]中描述的标准方法，完全自动化地评估了三种混凝土混合物的空气孔隙参数。所有实验都是在之前循环测试[6]中已经手动评估过的三种未知混凝土混合物的试样上进行的。这包括：(a) 在从试样表面随机捕获的测试集上评估原始模型的性能；(b) 将完全自动化的工作流程的结果与[6]中的人类测量结果进行比较。
章节片段
材料
DIN EN 480-11 [5]描述了一种标准化的定量方法，用于评估混凝土的微观结构，重点是其抗冻融性能。为了根据DIN EN 480-11 [5]评估空气孔隙参数，从两个混凝土立方体的核心切割出薄片以暴露空气孔隙（见图1a）。随后通过研磨和抛光进一步细化混凝土试样表面，以提高后续手动显微镜检查时空气孔隙的可见性。
讨论
所有模型都在未见过的混凝土试样上进行了测试，得到的空气孔隙、骨料和水泥浆类别的Dice系数值与其他研究[16]，[17]，[18]报告的结果相当。表4和表5中不同测试集M1 - M3之间的模型性能波动（Dice系数、精确度和召回率）可归因于它们各自的像素频率变化（见表3），导致（a）更严格的惩罚
结论
在本文中，研究了共聚焦激光扫描显微镜（CLSM）在混凝土微观结构分析中的应用。训练了几种U-net模型，这些模型要么仅使用RGB图像数据，要么使用RGB图像数据与表面高度数据相结合，以分割抛光混凝土试样表面CLSM图像数据中的空气孔隙、水泥浆和骨料区域。虽然所有模型在各自的测试集上都能取得良好的结果，但使用高度数据的模型
CRediT作者贡献声明
Viktor Kostic：撰写 – 审稿与编辑，撰写 – 原始草稿，软件，方法论，调查，形式分析，概念化。Jithender J. Timothy：撰写 – 审稿与编辑。Thomas Kr?nkel：撰写 – 审稿与编辑。Christoph Gehlen：资金获取。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文所述的工作。
致谢
这项研究工作得到了“TUM Georg Nemetschek建筑世界人工智能研究所”的资助，是“水泥和混凝土智能设计与测试的人工智能”项目的一部分。作者感谢Qadeer Khan和Viktor Kotsev的有益讨论。作者还要感谢卡尔斯鲁厄理工学院提供循环测试的试样。
