《Journal of Structural Biology》：ProPicker: Promptable segmentation for particle picking in cryogenic electron tomography
编辑推荐：
Cryo-ET数据中高效灵活的粒子检测方法ProPicker基于预训练的3D分割模型，通过提示机制实现多粒子类别的快速检测，支持微调提升性能，显著优于现有方法速度。
西蒙·维德曼（Simon Wiedemann）|扎兰·法比安（Zalan Fabian）|马赫迪·索尔塔诺尔科塔比（Mahdi Soltanolkotabi）|莱因哈德·赫克尔（Reinhard Heckel）
慕尼黑工业大学，Arcisstra?e 21，80333 慕尼黑，德国
摘要
低温电子断层扫描（cryo-ET）能够生成细胞环境的详细3D图像（断层图）。在cryo-ET数据分析中，一个关键步骤是检测断层图中所有特定粒子的实例，这一过程被称为粒子选取（particle picking）。由于噪声较大、图像伪影明显以及细胞结构复杂，这成为一个具有挑战性的目标检测任务。在这里，我们提出了ProPicker，这是一种预训练的、可接受提示的3D分割模型，它能够实现灵活且高效的数据处理流程，适用于多种粒子类型。通过指定提示，ProPicker可以被训练为检测特定粒子，或者进一步微调以提升检测精度。在模拟和真实世界断层图上的实验表明，使用单一提示时，ProPicker的性能接近或达到了最先进方法的水平，同时速度提高了一个数量级。此外，ProPicker还能检测到训练过程中未出现的粒子类型。如果训练数据有限，对其进行微调后，其性能甚至优于现有的特定粒子检测器。
引言
低温电子断层扫描（cryo-ET）因其能够在其天然环境中成像生物大分子而受到关注（Turk和Baumeister，2020；Hylton和Swulius，2021）。cryo-ET的一个雄心勃勃的目标是获得包含所有大分子的细胞图谱，这些大分子都处于其天然状态。这将彻底改变我们对蛋白质相互作用的理解，并有可能在细胞生物学到药物发现等多个领域带来突破（Bodakuntla等人，2023）。
在本文中，我们重点讨论了粒子选取问题，即在通过cryo-ET获得的3D体积数据（称为断层图）中找到所有感兴趣的粒子实例。粒子选取是重要的步骤，往往是关键分析流程中的瓶颈（Genthe等人，2023）。
粒子选取是一个3D目标检测问题，由于多种原因而极具挑战性。由于cryo-ET数据采集的固有限制，断层图的信噪比非常低，并且存在明显的伪影。此外，断层图通常体积庞大（200 × 1000 × 1000体素及以上），而cryo-ET数据集可能包含数百张断层图，这使得分析计算量巨大（Genthe等人，2023；Zeng等人，2023）。最后，由于细胞内蛋白质类型的多样性，需要检测的对象类别繁多，其中许多类别之间的差异非常微妙，因此区分起来非常困难。例如，人体内估计含有超过20,000种独特的蛋白质（Li和Buck，2021）。
一种粒子选取方法应该既快速又灵活，即能够在几乎不需要额外数据或只需少量数据训练/微调的情况下准确检测多种粒子。现有的粒子选取方法要么速度慢，要么不够灵活。大多数最先进的方法（Moebel等人，2021；De Teresa-Trueba等人，2023；Liu等人，2024）都基于深度学习模型，这些模型只能检测少数固定类型的粒子，并且需要大量标记数据进行训练，而在cryo-ET领域获取这些数据尤为困难。
在这里，我们提出了ProPicker，这是一种可通过多种提示机制针对广泛粒子类型的可提示粒子选取器。ProPicker在一个大型、多样化的合成数据集上进行了训练，利用3D分割网络来分割断层图中的目标粒子并准确定位它们的位置。其可提示的设计允许用户选择分割模型所要检测的具体粒子类别（基于提示的选取）。通过对ProPicker进行粒子特定的微调，可以进一步提升其性能。ProPicker的可提示设计受到了用于（自然）2D图像分割的方法的启发，如Segment Anything Model（SAM）（Kirillov等人，2023）和CLIPSeg（Lüddecke和Ecker，2022）。
ProPicker能够基于单一提示在合成断层图中检测到训练过程中未出现的新粒子，并具有较高的F1分数（见第4.2.1节）。在五个具有挑战性的真实世界数据集上的实验表明，基于提示的选取方法能够检测到大型粒子，并产生强烈的对比度，例如核糖体和载铁蛋白。
我们也遇到过一些情况，即使用ProPicker和其他灵活的基线方法（如TomoTwin Rice等人，2023；CryoSAM（Zhao等人，2024））无法获得满意的结果。在第4.3节“通过微调改进基于提示的选取”和第4.2.2节“在真实世界断层图中的基于提示的选取”中，我们讨论了这些情况，并证明了即使使用不到断层图的数据，通过对ProPicker进行微调，F1分数也能提高多达4倍，具体取决于所检测的粒子类型。
此外，我们发现，与训练最先进的特定粒子检测器DeepETPicker（Liu等人，2024）相比，微调ProPicker所需的数据更少，却能够实现类似的检测性能。
最后，ProPicker是所有基于提示的灵活粒子选取器中速度最快的，其速度比最先进的TomoTwin Rice等人（2023）快一个数量级（见第4.2.1节）。
我们的发现展示了ProPicker的强大潜力，并强调了需要大型、多样化且注释详尽的真实世界训练数据集来充分发挥其潜力（见第5节）。
章节片段
背景与相关工作
深度学习方法已经彻底改变了从2D显微照片中选取单个粒子的技术（Wang等人，2016；Bepler等人，2019；Wagner等人，2019）。这些方法在cryo-ET领域也日益普及，但传统方法仍然发挥着重要作用：
ProPicker：用于粒子选取的可提示分割模型
在正式阐述粒子选取问题后，我们描述了ProPicker的可提示分割模型，并详细介绍了如何使用该模型进行基于提示的粒子选取和微调。
实验
我们首先描述了ProPicker的训练过程和评估协议。
讨论
在这项工作中，我们提出了ProPicker，这是一种用于cryo-ET的粒子选取方法，它利用了一个在大型、多样化合成数据集上训练的可提示3D分割模型。ProPicker能够基于单个示例（提示）准确检测多种粒子。根据目标粒子和细胞环境的不同，ProPicker的性能可以达到或接近最先进水平，同时速度提高了一个数量级。经过微调的ProPicker模型
缩写
cryo-ET：低温电子断层扫描；FiLM：特征线性调制；NN：最近邻；PDB：蛋白质数据库；ProPicker：可提示选取器；ProPicker-C：基于簇选取的ProPicker；ProPicker-TM：基于模板匹配的ProPicker；SAM：Segment Anything Model；TM：模板匹配；VLP：类病毒粒子；2D：二维；3D：三维
CRediT作者贡献声明
西蒙·维德曼（Simon Wiedemann）：撰写——审稿与编辑、撰写——初稿、可视化、软件开发、方法论设计、数据整理、概念构思。扎兰·法比安（Zalan Fabian）：撰写——审稿与编辑、撰写——初稿、软件开发、方法论设计、数据整理、概念构思。马赫迪·索尔塔诺尔科塔比（Mahdi Soltanolkotabi）：撰写——审稿与编辑、监督、资源协调、方法论设计、资金获取、概念构思。莱因哈德·赫克尔（Reinhard Heckel）：撰写——审稿与编辑、监督、资源协调、方法论设计、资金获取
未引用的参考文献
Ioffe和Szegegy（2015），Meseguer-Brocal和Peeters（2019），Sudre等人（2017），Ulyanov等人（2016）利益冲突声明
作者声明他们没有已知的财务利益冲突或个人关系可能影响本文的研究结果。
致谢
作者感谢德国联邦教育和研究部在“Souver?n. Digital. Vernetzt”项目中的财政支持（项目编号：16KISK002），以及德国研究基金会（DFG）的支持（项目编号：456465471、464123524、517586365）。
本研究还部分得到了AWS学分的支持，包括亚马逊教师研究奖和NAIRR试点奖。马赫迪·索尔塔诺尔科塔比也参与了这项研究。
