用于材料微观结构的机器学习：应用与方法综述

《Acta Materialia》：Machine learning for materials microstructures: A survey of applications and methodologies

机器学习显著推动了材料微结构分析，涵盖图像分割（如U-Net、YOLO）、缺陷检测（TEM/STM/STEM）、特征提取与降维（PCA）、分类与聚类（随机森林、k-means）及优化设计。结合统计方法（n点相关函数）评估结构演变，并建立数据共享机制。

　　

K. Barmak|J.M. Rickman

美国纽约州纽约市哥伦比亚大学应用物理与应用数学系，邮编10027

摘要

本文综述了重要的机器学习（ML）方法及其相关应用，这些方法推动了材料微观结构获取和解释方面的重大进展。例如，这些进展使得自动处理显微图像以识别缺陷（如晶界和界面）成为可能，并进一步实现了结构的分类和晶粒统计数据的汇编，从而用于定量微观结构表征。为了总结机器学习在该领域的贡献，我们首先概述了不同的图像分割和特征提取方法，然后描述了各种显微镜技术及其相关的图像分割和图像对象识别问题。对于这些显微镜技术，我们回顾了机器学习在解析显微图像中发挥关键作用的研究案例。接下来，我们重点介绍了机器学习在微观结构分析和建模中的贡献，探讨了利用神经网络（NN）进行分类和聚类等任务的方法。由于神经网络还促进了微观结构优化和逆向设计的目标，我们也研究了这些工具如何被用来创造具有理想性能的材料。最后，我们展示了如何使用相关统计方法来评估和预测微观结构异常（如异常晶粒生长）的发生，并报告了在创建和管理微观结构数据库方面的进展。本文的目的是说明，在相对较短的时间内，机器学习工具已成为微观结构图像处理和解释不可或缺的工具。

引言

近年来，数据科学工具，尤其是机器学习（ML），在材料科学领域取得了重要进展，包括材料发现[1]、[2]、性能优化/预测[3]、计算机模拟的原子间势能开发[3]、[4]以及微观结构分析[5]、[6]、[7]、[8]、[9]等方面。具体来说，利用机器学习获取和解释材料微观结构的能力，使我们在介观尺度上定量表征和分析材料结构和动态方面取得了突破性进展。例如，通过透射电子显微镜（TEM）获得的薄膜金属微观结构的分割，过去是一项需要人工干预来追踪晶界的艰巨任务，现在可以通过基于卷积神经网络（CNN）的算法边界检测方法（如U-Net [10]）轻松完成，从而大大减少了繁琐的手动追踪工作[11]。此外，机器学习工具还实现了亮场TEM图像中离散缺陷[12]、扫描隧道显微镜（STM）图像中的点缺陷[13]以及高分辨率扫描透射电子显微镜（STEM）图像中的铁磁畴[14]的自动检测和识别。此外，机器学习工具为微观结构分析和建模开辟了许多有价值的途径，包括：结构分类、基于微观结构的合金设计、学习到的结构-性能关系、稀有晶粒尺寸分布事件的识别、数据驱动的介观尺度模拟等。

最近在微观结构图像获取和解释中应用的机器学习方法值得特别关注。如上所述，新的方法彻底改变了图像分割的任务，每种方法都有其相对的优势和劣势。例如，YOLO [15] 是一种快速处理图像的单阶段架构，通常以牺牲准确性和精度为代价；而Mask R-CNN [16] 则是一种两阶段框架，用于图像中的对象检测，并同时生成分割掩码。此外，基于YOLO的模型对对象大小非常敏感，因此存在一些基于多尺度架构（如U-Net）的模型所没有的挑战，尽管前者模型特别适用于显微镜下的实时分割[17]。在YOLO和基于Mask的模型中，都需要监督学习的数据，但最近在零样本、少样本[18]和基础模型（如Segment Anything Model (SAM)）方面的进展为微观结构评估提供了强大的工具，尽管仍存在显著限制。因此，在材料科学应用中选择特定方法取决于具体情境（例如领域）、可用的或所需的数据以及所使用的显微镜技术。

对于已分割的微观结构，提取表征系统的物理特征（如相分数、颗粒形态等）是很重要的，然后使用这些特征向量进行后续分类。传统上，人们采用数字图像分析技术（如边缘检测和纹理分析（例如灰度共生矩阵（GLCM）[19]）来进行特征分析。现在，这一过程通过计算机视觉算法[20]得到简化，在高维特征空间的情况下，结果通过降维策略（如主成分分析（PCA）[21]映射到低维空间。然后，特征向量成为分类器（如随机森林或支持向量机（SVM）[22]）的输入，从而实现对微观结构特征的解释。

微观结构解释和建模也受益于材料信息学工具箱中一系列技术的应用。在这一领域，既使用了监督学习方法，也使用了无监督学习方法来进行数据解释。在前者中，传统的ML方法（如基于将类别标签与预测特征关联的模型的方法）被用来描述图像内容（如局部相身份），或区分图像像素以进行后续分割[23]、[24]。在后者中，人们通常希望根据相似的共享特征将数据分组到不同的簇中。其中，无监督k-means聚类[25]尤为突出，例如用于颗粒的聚类分析[5]、识别铝中晶界附近的应变局部化区域[26]以及模拟沉淀动力学[27]。

为了解释静态和动态的分割微观结构，人们还使用了相关统计技术[28]，这些技术来自诸如$n$点相关函数[29]、[30]等描述符。这些统计描述符体现了不同微观结构区域之间的平均空间和/或时间关联，并系统地描述了序参量（如局部相或晶体取向）的潜在概率分布。值得注意的是，这些相关量是对复杂性度量的补充，而这些复杂性度量是基于信息论[31]、[32]和谱图理论[33]定义的微观结构熵的代理。熵的时间演化有助于区分各种粗化现象，例如异常晶粒生长[32]、[34]。

鉴于机器学习在材料微观结构获取和解释中日益重要的作用以及快速的发展步伐，提供关于材料信息学在材料科学和工程及相关领域复杂微观结构问题中的应用影响、许多成功案例和剩余挑战的当前概述是非常有用且及时的。在本概述中，我们综述了推动上述进展的重要ML方法和应用，并为解决缺陷检测、原位晶粒尺寸统计数据的获取、演变微观结构的建模以及大型微观结构数据集的分析和管理等当前和未来的挑战提供了路线图。总体目标不是提供详尽的操作手册或方法论的全面描述，而是提供一个快速发展的领域的详细快照，其中包含缩写和术语，以澄清概念、突出重要问题和考虑因素，并强调最佳实践。

本概述的结构如下：第2节总结了不同的图像分割和特征提取方法，重点介绍了机器学习在这些任务中的作用。第3节概述了各种显微镜技术，并描述了与图像分割和图像对象识别相关的问题。为了清晰起见，还包含了每个显微镜技术的关键信息摘要表。第4节探讨了机器学习在微观结构分析和建模中的作用，概述了利用神经网络（NN）进行分类和聚类等图像解释策略。我们还回顾了用于调整微观结构以实现极端理想性能的微观结构优化和逆向设计方法，以及用于表征异常晶粒生长（AGG）的相关统计和基于NN的技术。第5节讨论了与数据管理相关的问题，包括在整个生命周期中维护和研究数据的保存。第6节对该领域的未来发展进行了讨论和展望。最后，提供了术语表、重要的基于ML的分割方法总结和缩写列表，以指导读者。

部分摘录

图像分割和特征提取

图像分割和特征提取是图像处理的核心任务。作为第3节讨论机器学习与显微镜技术相互作用的前奏，本节简要介绍了改进这些任务性能的现代基于ML的方法。此外，还简要讨论了使用这些新方法时的重要考虑因素。

显微镜技术 - 图像获取和解释

本节概述了各种显微镜技术，并描述了与图像分割和特征提取相关的问题。这里特别关注分割问题。下面介绍的研究选例展示了流行工具的使用情况，并给出了性能指标，以便读者评估特定工具的实用性。作为读者的指南，每个小节还包含一个总结研究细节的表格。

机器学习在微观结构分析和建模中的作用

在完成第2节描述的特征提取过程后，必须分析和解释所得数据。为此，存在各种ML工具用于识别数据模式和进行预测。在本节的第一小节中，我们确定了一些在微观结构分析中重要的工具，主要关注聚类和分类策略。在接下来的小节中，我们概述了机器学习在微观结构分析任务中的贡献。

微观结构数据管理

由于ML应用通常需要大型数据集进行训练，工作人员必须关注数据的获取和后续管理。数据管理涉及在整个生命周期中维护和研究数据的保存。这个生命周期包括几个步骤：（1.）收集，（2.）分析，（3.）传播，（4.）管理，（5.）重用。[207] 随着越来越多的材料科学家和相关领域的工作人员认识到共享数据的价值，

讨论与展望

在本概述中，我们总结了重要的机器学习（ML）方法及其相关应用，这些方法改变了材料微观结构的解析和解释。例如，这些ML工具（如神经网络）使得自动处理显微图像以识别缺陷（如晶界和界面）成为可能，并进一步实现了结构的分类和晶粒统计数据的汇编，从而用于定量微观结构表征。

CRediT作者贡献声明

K. Barmak：撰写 – 审稿与编辑，撰写 – 原稿，概念构思。J.M. Rickman：撰写 – 审稿与编辑，撰写 – 原稿，概念构思。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：JMR是《Acta Materialia》和《Scripta Materialia》的编委会成员。鉴于Rickman担任期刊编辑的角色，他未参与本文的同行评审，也无法访问有关其同行评审的信息。本文的编辑工作完全由另一位期刊编辑（G. Rohrer）负责。

致谢

KB感谢美国国家科学基金会（NSF） DMREF项目（项目编号：DMS-2118206）的支持；JMR感谢美国国家科学基金会（NSF） DMREF项目（项目编号：DMS-2118197）和美国陆军研究办公室（ARO）项目（项目编号：W911NF-19-2-0093）的支持。作者还要感谢S. Levine指出U-Net的使用，并感谢K. Field提供关于YOLO和SAM的有用信息。最后，作者感谢哥伦比亚大学数据科学