编辑推荐：
纳米尺度材料表征中扫描探针显微镜（SPM）的自动化与智能化需求日益迫切，但现有技术仍面临图像质量退化、数据处理效率低及人工干预多等挑战。本研究提出J3SPM AI开源平台，通过整合图像预处理、标注、模型训练与推理功能，构建统一工作流，降低用户技术门槛。平台基于YOLOv5实现SPM图像中的目标检测与兴趣区域识别，支持自动指导扫描参数调整，并兼容传统AFM系统。实验验证了其在DVD纳米结构识别和HS-AFM动态追踪中的应用，展示了AI辅助SPM的全流程自动化潜力。
SangHeon Lee
庆北国立大学电子机械工程学院，机器人工程专业，韩国庆北道安东市Gyungdongro 1375，邮编36729
摘要
扫描探针显微镜（SPM），特别是原子力显微镜（AFM），对于在纳米尺度上表征材料至关重要。然而，即使自动化技术有所进步，实际应用中仍存在诸如图像质量下降和吞吐量限制等挑战。为了解决这些问题，我们开发了J3SPM人工智能（AI）平台，这是一个基于图形用户界面的开源平台，旨在促进AI在扫描探针显微镜（SPM）工作流程中的应用。该平台将图像预处理、数据集构建、模型训练和推理集成在一个统一的环境中，使用户无需从头开始开发机器学习流程即可进行AI辅助分析。J3SPM AI支持基于图像的对象检测和感兴趣区域（ROI）识别，这些功能可用于指导放大重扫描和有针对性的数据采集。通过降低基于AI的图像分析和工作流程集成的技术门槛，J3SPM AI为将AI辅助决策纳入传统和先进的SPM实验提供了实用的框架。
引言
扫描探针显微镜（SPM），尤其是原子力显微镜（AFM），已成为在纳米尺度上表征物理、化学和机械性能不可或缺的工具。尽管具有这些优势，但仍有一些实际因素限制了其性能和吞吐量。例如，在某些条件下（如探针磨损或表面污染），图像质量可能会下降。虽然现代仪器引入了批量扫描、软件辅助分析和机器人探针更换等自动化功能，但其整体吞吐量仍然有限——尤其是在高分辨率或复杂任务中。
高速原子力显微镜（HS-AFM）实现了动态生物和物理过程的实时可视化；然而，大多数传统AFM系统的扫描速度仍然较慢。此外，HS-AFM和传统AFM系统通常需要人工干预来完成重新定位或放大扫描等任务。这些手动操作阻碍了完全自适应的闭环工作流程的实现，而这种流程本可以显著提高自动化程度和实验效率。
将人工智能（AI）技术整合进来以克服这些挑战越来越受到关注（Belianinov等人，2015年；Barnard等人，2019年；Gordon和Moriarty，2020年；Nguyen和Liu，2022年；Vasudevan等人，2023年；Laskar和Cleano，2023年；Ziatdinov等人，2017年；Gongora等人，2020年），应用领域包括对象检测、分割、分类、探针状态识别和图像去噪（Ziatdinov等人，2020年；美国化学学会，2022年；Farley等人，2020年；Carracedo-Cosme等人，2021年）。此外，利用AI自动化测量和图像分析也被积极探索，以提高吞吐量和可重复性（Minelli等人，2017年；Huang等人，2018年；Rade等人，2022年；Joseph等人，2021年；Sotres等人，2021年）。然而，大多数实现都是分散在多个环境中的，需要单独的工具来进行图像预处理、注释、模型训练和推理，这降低了可重复性，并给非专家用户带来了较高的学习曲线。
为了缓解这种碎片化问题，出现了基于云的平台来简化数据集创建、模型训练和部署过程。然而，这类服务通常依赖于远程基础设施，这可能会引发数据安全和保密性的担忧，并可能产生额外的私人训练或存储成本。此外，它们通常缺乏直接向SPM仪器传输扫描命令的直接接口。这些限制促使人们寻找一种可以在本地执行的端到端解决方案，既能保持数据隐私，又能与现有的SPM系统直接交互，以实现基于AI的图像引导的扫描参数生成。
为了解决这些限制，我们推出了J3SPM AI，这是一个开源的集成平台，将SPM的整个AI工作流程（包括图像准备、注释、深度学习模型训练、推理以及基于深度学习的图像分析和扫描参数生成）整合在一个图形用户界面中。这种设计减少了手动操作，通过本地运行确保了数据安全，并通过提供基于AI驱动的图像分析生成扫描参数的接口，支持继续使用传统的AFM系统。作为概念验证，我们在数字多功能光盘（DVD）表面的AFM图像上展示了对象检测，并使用HS-AFM视频数据演示了生物分子目标跟踪的模拟示例。这些例子展示了J3SPM AI支持半自动化乃至智能化SPM实验的潜力。
本文的其余部分安排如下：第2节概述了SPM应用的一般AI工作流程和常用工具；第3节介绍了所提出平台的架构和特点；第4节通过AFM图像和HS-AFM视频展示了实验演示，并讨论了该平台自动化SPM任务的可行性；最后，第5节总结了本研究并提出了未来的发展方向。
章节片段
SPM的AI工作流程
如图1所示，AI模型的开发可以系统地分为三个阶段：数据准备、建模和部署。数据准备包括数据采集、预处理和注释，以构建高质量的训练集。建模涉及模型选择、权重优化和与训练相关的超参数调整。最后，部署阶段将训练好的模型应用于新数据以进行实际操作。
尽管如此
J3SPM的架构
我们旨在开发一个将所有AI相关任务集成在一个统一环境中的平台。在选择编程语言和AI框架时，我们仔细考虑了与其他系统模块的兼容性、长期可维护性和可扩展性等因素。基于这些标准，Python被选为主要编程语言，PyTorch被选为主要AI框架库。
图2展示了J3SPM AI的总体架构。该平台旨在
基于AI的图像分析和扫描参数生成
选择了一个商业上可获得的DVD作为实验样本，因其具有纳米结构化的表面。本研究的主要目标是开发并评估一个能够根据长度对表面凹坑进行分类的AI模型，并应用该模型来检测特定长度的凹坑，以便进行目标放大扫描。在这个实验中，放大扫描是手动根据基于AI的图像分析确定的扫描区域和大小来执行的。
长度的训练数据集
结论
在这项研究中，我们开发了J3SPM AI平台，这是一个专门的SPM系统，它集成了基于YOLOv5的对象检测算法，以支持AFM系统的基于AI的图像分析和扫描参数生成。该平台提供了直观的图形用户界面，并支持必要的AI功能，包括数据注释、模型训练和推理，使用户无需具备广泛的编程或AI专业知识即可实际使用。
为了评估其适用性，该平台被应用于基于图像的凹坑检测
数据和代码的可用性
J3SPM AI平台作为开源软件在GNU通用公共许可证v3.0（GPL-3.0）下发布，其源代码在GitHub上公开。该仓库包含了J3SPM AI平台的核心实现、图形用户界面以及数据注释、模型训练和推理的脚本。仓库中没有重新分发任何第三方图像数据集或视频。
该平台基于几个开源软件组件构建，包括LabelImg等
资助
这项工作得到了韩国教育部和韩国国家研究基金会（NRF-2022R1A2C1010182）以及庆尚北道区域创新系统与教育（RISE）项目（B0080526002355）的支持。
CRediT作者贡献声明
SangHeon Lee：撰写 – 审稿与编辑、撰写原始草稿、可视化、验证、监督、软件开发、资源管理、项目管理、方法论研究、资金获取、正式分析、数据管理、概念构思。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。
致谢
作者衷心感谢Ando Toshio教授及其同事允许使用他们工作中最初报告的HS-AFM图像序列。
