《Biomedical Signal Processing and Control》：Development of deep learning “DTONet” for accurate detection of tumor organoids
编辑推荐：
肿瘤类器官检测中的小目标、重叠及高分辨率图像处理难题，通过DTONet框架整合双向特征金字塔网络、深度可分离激励模块和并行片段推理策略，实现93.4%检测精度和58.9% mAP50:95指标，较现有YOLO系列及Faster R-CNN提升5.9-9.3%，并支持7344×6144像素实时分析。
李宇辰|杜轩|叶杰贤|金楚峰|陈阳|陈兆兆|顾中泽
东南大学生物科学与医学工程学院微生理系统研究所数字医学工程国家重点实验室，中国南京210096
摘要
准确检测肿瘤类器官对于推进药物发现、个性化医疗和疾病建模至关重要，但这在技术上仍然具有挑战性。类器官图像通常包含数千个大小差异较大且频繁重叠的物体，并且在图像压缩后会遭受严重的分辨率失真。现有的深度学习方法在这些条件下难以在准确性和计算效率之间取得平衡。为了解决这些问题，我们开发了DTONet，这是一个专门用于检测高分辨率图像中小型且重叠类器官的深度学习框架。DTONet集成了双向特征金字塔网络（BiFPN）以实现多尺度特征融合、深度可分离激励（DWSE）模块以实现轻量级计算，以及并行补丁推理（PPI）策略以加速全景图像处理。在多种类器官数据集（肝脏、肺部、胰腺等）中，DTONet实现了93.4%的精确度和58.9%的mAP50值，比YOLOv8、YOLOv9和Faster R-CNN的性能提高了5.9-9.3%。PPI将推理时间减少了22%，同时保持了检测精度，使得能够实时分析高达7344×6144像素的图像。值得注意的是，DTONet能够以89.3%的准确率检测到小于50像素的类器官，并有效解决了高密度培养中的重叠问题，从而解决了自动化图像分析中的关键瓶颈。通过结合分层特征融合、高效参数化和并行处理，DTONet为高通量类器官研究奠定了坚实的基础，并扩展了基于肿瘤类器官的应用在临床和制药领域的潜力。
引言
类器官作为一种先进的3D体外组织培养模型，由于其在药物评估、再生医学、发育生物学和疾病建模方面的广泛应用潜力而受到了广泛关注[1]、[2]、[3]。类器官源自原始组织或活检样本，能够紧密模拟特定组织的结构，并在三维（3D）微环境中表现出生长和分化[4]。在过去十年中，包括肝脏、肺部和肠道在内的多种类器官类型已经成功培养并应用于药物发现、精准医疗和毒理学研究[5]、[6]、[7]、[8]、[9]。这些模型为器官发生和疾病进展提供了重要的见解，而这些是使用传统的二维（2D）培养或动物模型难以获得的。随着类器官研究的迅速发展，对高效和稳健的分析技术的需求变得越来越迫切。虽然高通量成像技术能够捕捉到类器官的数量、大小和周长等详细形态特征，但高分辨率图像的分析仍然具有挑战性[10]、[11]。这些挑战源于类器官尺度的固有多样性以及手动评估的劳动密集性。此外，目标物体之间的重叠、失焦或尺寸较小进一步降低了自动量化的准确性。
随着人工智能的快速发展，特别是深度学习，越来越多的基于AI的方法被应用于生物医学成像[12]、[13]、[14]。在类器官图像分析任务中，分类是最基本的任务，通常使用深度学习方法根据形态特征来区分目标物体的存活状态[15]、[16]、[17]。例如，Kegeles等人[18]引入了一种基于ResNet50分类模型的非侵入性分析方法来识别视网膜类器官，而Bian等人[19]提出了OrgaNet，该方法利用GoogleNet来评估类器官的活力，其结果与ATP检测相当。这些研究表明深度学习能够实现可靠的类器官分类；然而，这些方法主要局限于对活力的粗略评估或形态学分析。除了分类之外，还采用了目标检测方法来定位单个类器官。类器官在三维培养环境中的悬浮状态常常导致成像挑战，如目标重叠、失焦、尺寸变化大或图像中类器官密度高或稀疏，这些都大大增加了准确定位的难度。Kassis等人[20]开发了OrgaQuant来自动化明场图像中的人类肠道类器官量化。Abdul等人[21]提出了Deep-LUMEN来检测明场成像中观察到的肺球体。Leng等人[22]设计了基于YOLOX的轻量级检测器Deep-Orga，用于肠道类器官的检测。Deep-Orga能够准确评估类器官的发育情况，有效减轻专业人员的负担，并避免评估的主观性。对于更详细的形态学评估，还使用了基于分割的方法。Albanese等人[23]引入了SCOUT流程，这是一种用于完整脑类器官的自动化多尺度比较分析方法。Chen等人[24]基于PSP-UNet模型设计了一种方法，从三维培养的类器官中获取边缘信息，从而自动化了肿瘤侵袭性的评估。总的来说，这些进展凸显了对自动化类器官分析的日益关注。然而，特别是在处理高密度、多尺度和小目标检测方面，仍然存在重大挑战。
一个关键的瓶颈在于全景图像的高分辨率（超过3000×3000）与检测模型的受限输入维度（通常为640×640）之间的不匹配。将这些高分辨率图像降采样以适应模型输入通常会导致失真，使得小型类器官几乎无法被检测到[25]、[26]。虽然已经在组织病理学图像分析中探索了基于补丁的推理策略，通过将大图像分解为更小的区域来进行分析[27]，但传统方法在检测速度上往往效率低下，并且跨补丁的拼接复杂，限制了它们在实时类器官分析中的适用性。
在这项工作中，我们提出了DTONet，这是一个专门用于高分辨率图像中小型和重叠类器官的深度学习检测框架。DTONet建立在改进的YOLOv10架构[28]的基础上，集成了三个关键组件：双向特征金字塔网络（BiFPN）以实现多尺度特征融合、深度可分离激励（DWSE）模块以实现轻量级计算，以及并行补丁推理（PPI）策略以加速大规模图像分析。在肿瘤类器官数据集上的广泛评估表明，DTONet能够在保持计算效率的同时准确检测不同尺度和密度的类器官。该框架进一步整合到了高通量全景成像工作流程中，为推进类器官研究和下游生物医学应用提供了实用且稳健的解决方案。
部分片段
检测工作流程概述
所提出的用于准确和自动化检测肿瘤类器官的工作流程包括三个核心组件，旨在通过分而治之的策略提高检测准确性和计算效率：
1图像切片：首先使用Avatarget Insight系统内置的加权聚焦算法融合Z堆栈，生成一个来自多个焦平面的单一切焦图像。然后将这个复合图像分割成
类器官图像数据集
我们为这项研究建立了一个全面的肿瘤类器官图像数据集。该数据集包括来自多种组织类型的类器官，包括肝脏、肺部、肠道和胰腺，以确保在形状、大小和纹理方面的广泛形态多样性。
类器官在24孔板中培养，并使用Avatarget Insight系统进行成像。实验流程如图3所示，包括两个主要阶段：(a) 将人体组织活检样本培养成类器官，
讨论
所提出的DTONet框架有效解决了在高分辨率图像中检测小型和重叠类器官的挑战，这是类器官研究中的一个关键瓶颈。通过集成分层特征融合网络（BiFPN [30]和PAN [31]），DTONet实现了稳健的多尺度检测，克服了先前方法（如YOLOv8 [36]和Faster R-CNN [38]）在尺度变化方面的局限性，这些方法在这方面存在困难
结论
总之，DTONet框架在自动化肿瘤类器官分析方面代表了重大进展。通过集成分层特征融合网络（BiFPN）、轻量级卷积模块（DWSE）和创新的并行补丁推理（PPI）策略，该系统有效克服了高分辨率类器官成像的主要挑战：可靠地检测小型、重叠和多尺度目标。这种集成方法消除了计算瓶颈
CRediT作者贡献声明
李宇辰：撰写——原始草稿、可视化、软件开发、调查、正式分析。杜轩：软件开发、资源管理、数据管理。叶杰贤：可视化、资源管理、方法论设计、数据管理。金楚峰：验证、软件开发。陈阳：资源管理、调查、概念构思。陈兆兆：撰写——审稿与编辑、监督、项目管理、资金获取、概念构思。顾中泽：撰写——审稿与编辑、验证、资金获取。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本研究得到了江苏省科学技术项目（项目编号：BK20232023）、国家自然科学基金（项目编号：82227808）、国家重点研发计划（项目编号：2022YFC2504403）、江苏省前沿技术研发计划（项目编号：BF2024074）以及广西壮族自治区重点研发计划（项目编号：Guike AB24010163）的支持。
