编辑推荐：
位错分析在TEM图像中采用深度学习方法，包括全监督和半监督策略（边界损失+未标注数据增强），合成图像辅助的域适应有效提升困难条件下的分割精度，并实现自动密度测量。
阿西亚·布格拉拉（Assya Boughrara）|克里斯汀·维亚拉（Christine Viala）|洛朗·杜普伊（Laurent Dupuy）|弗雷德里克·蒙皮乌（Frédéric Mompiou）
图卢兹大学（Université de Toulouse）、法国国家科学研究中心（CNRS）、CEMES，图卢兹，法国
摘要
位错是具有根本重要性的缺陷，因为它们的动态行为会影响到合金的机械性能。在透射电子显微镜（TEM）尺度上，位错动态分析需要丰富的图像对比度知识和耗时的测量技术。本文介绍了几种基于深度学习的方法，这些方法旨在通过在不同材料和TEM成像条件下进行位错分割来促进进一步的分析。我们提出了全监督学习（FSL）和半监督学习（SSL）两种方法，采用编码器-解码器神经网络架构和边界型损失函数。在全监督学习中，训练是在标记图像上进行的；而在半监督学习中，还使用了未标记的图像来丰富由内部大型未标记数据集提供的特征描述。实验表明，半监督学习能够提高评估指标，并且几乎可以达到人类专家的水平。最后，我们探讨了使用合成图像进行无监督学习（领域适应）的可能性。我们基于物理原理构建了一个数据集，通过图像模拟和位错动态模拟来生成这些合成图像。尽管合成图像与真实图像在视觉上有较好的一致性，但特征知识很难从合成图像转移到真实图像上，从而导致性能下降。然而，在更复杂的成像条件下，合成图像可以提高预测的准确性。文中还提供了一个自动密度测量的应用示例作为展望。
引言
位错是晶体材料中塑性变形的主要载体。因此，研究位错在适当的时空尺度上的行为对于理解其机械性能至关重要。这要求我们能够在晶粒尺度上（通常是亚微米范围）沿着位错的所有线段（无论是投影还是三维）观察它们，并且在通常的变形条件下，时间尺度为几十毫秒。出于这些原因，传统的原位TEM（CTEM）变形实验在常规明场或暗场（BF/DF）成像模式下已被证明对于研究移动位错非常有用[1]。通过记录的动态数据，结合实时观察和电子衍射确定晶体取向，可以进行定性和定量分析。在所有情况下，评估诸如位错迁移率（速度与应力和温度的依赖性）、位错跳跃长度（变形的间歇性）以及位错锚点距离等参数都是至关重要的。这通常不仅需要测量位错位移，还需要测量它们的曲率。已有研究表明，获取定量数据非常有用。例如，卡亚尔（Caillard）通过测量纯铁中的位错动力学来提取单个位错级别的激活体积[2]；德鲁埃（Drouet）等人利用位错曲率测量来提取锆（Zr）的迁移率，并用它来实现一个真实的位错动态模拟[3]；蒙皮乌（Mompiou）等人从视频序列中提取位错锚点距离，以评估TiNbZr合金的硬化规律[4]。所有这些分析目前都是通过手动检查图像序列来完成的，依赖于对图像差异的观察。这些分析不仅耗时，而且所依赖的测量数量有限，可能会影响其代表性。除了原位实验之外，自动化图像分析还可以用于CTEM和STEM中的衍射对比成像，例如用于位错密度测量。然而，自动位错分析的进展似乎受到分割问题的限制。尽管这个问题在计算机视觉中很经典，但在这里却因多种原因而具有挑战性。首先，在BF/DF模式下观察到的位错即使在两种束条件下也表现出多种对比度，因为它们会随着样品厚度、异常系数、布拉格角偏差、消光距离、束方向和衍射矢量的变化而变化。虽然在大多数情况下，成像条件是通过用户经验来调整的，但位错的观察通常会导致从细而连续的线条（布拉格角大偏差）到振荡的、粗的、消失的或不连续的对比度等多种对比度。此外，由于表面和其他微观结构成分（沉淀物、晶界、样品制备伪影等），背景通常很复杂且重叠。特别是对于原位实验，位错在氧化表面留下的痕迹可能会与位错本身混淆。因此，基于阈值的分割方法往往会产生较差的结果。
方法概述
方法
在过去的5年里，基于深度学习的图像分割技术在TEM领域取得了许多改进。在位错研究领域，人们投入了大量精力来分割辐照引起的位错环。这些方法依赖于标记的辐照微观结构图像，无论是单次拍摄还是分两步进行[5]、[6]、[7]、[8]。这样做的目的是为了获得统计数据以便计数。
真实数据
图像来自一个由7位用户构建的大型数据库。这些图像主要来自在20多种材料（主要是合金，如Ti基合金、高温合金、纯BCC结构等）中进行的原位应变视频序列。图像通常在50到200 kX的放大倍数下使用MEGAVIEW III相机和mp4视频编码器在常规TEM下获取，其中大部分采用明场（BF）模式，少数采用暗场（DF）模式。数据库中的图像格式为png。
人类专家的表现
为了评估人类专家的表现，图2中展示了三个不同难度的图像，由4位经验丰富的用户进行了标记。为了提高准确性，原始图像被处理成224 × 224像素的大小以便比较。图6显示了人类专家之间成对比较的IoU（Intersection Over Union）和CAL（Average Confidence Loss）指标。。正如预期的那样，IoU分数低于CAL分数，并且差异较大。例如，即使对于同一位错，不同专家之间的评估结果也可能存在差异。
结论
通过探索不同的深度学习方法，并利用主要来自原位实验的大量明场和暗场图像数据库，实现了TEM图像中的位错分割。测试了多种方法和模型。
- •
使用有限数量的标记图像，全监督学习（FSL）方法可以获得接近人类专家的分割结果，而且速度更快。网络架构对结果影响不大，但使用基于边界的损失函数
CRediT作者贡献声明
阿西亚·布格拉拉（Assya Boughrara）： 数据管理、软件开发、可视化、撰写——审稿与编辑、概念化。克里斯汀·维亚拉（Christine Viala）： 数据管理、撰写——审稿与编辑。洛朗·杜普伊（Laurent Dupuy）： 概念化、软件开发、撰写——审稿与编辑。弗雷德里克·蒙皮乌（Frédéric Mompiou）： 概念化、数据管理、资金获取、软件开发、监督、初稿撰写、审稿与编辑。
利益冲突声明
作者声明他们没有已知的财务利益冲突或个人关系可能影响本文的研究工作。
致谢
作者感谢CEMES的PPM小组提供的TEM图像，感谢J. Douin、J.-P. Monchoux和M. Legros对测试图像的标记，以及A. Tolley和M. Brunet提供的用于密度测量的STEM图像。我们非常感谢A. Estana、S. Mohammad和N. Renon将NUMODIS代码移植到CALMIP的Turpan计算机上。本研究得到了EUR项目NanoX（编号ANR-17-EURE-0009）的支持，该项目属于投资计划的一部分。
