基于密度感知的引导式与半监督3D牙齿重建方法，结合双视图特征融合技术

《Image and Vision Computing》：Density-aware guided and semi-supervised 3D tooth reconstruction method with dual-view feature fusion

3D牙体重建中，基于密度感知的双平面注意力机制与半监督动态迭代策略可有效提升2D X光图像的特征提取精度，通过物理属性建模实现骨、骨髓及软组织的多区域高精度重建，显著改善PSNR和SSIM指标。

　　

邹思琪|张玉贵|朱明月|王尊旺|杜明华|柴美玉|吴东东|金能豪|王刚|贾婷婷

新疆大学软件学院，乌鲁木齐，830091，中国

摘要

与3D牙科成像相比，2D牙科X光片提供的信息有限，缺乏足够的结构显示和信息完整性，这使得难以呈现口腔结构的细节，无法满足复杂口腔疾病的精确诊断需求。因此，探索2D到3D的重建技术对于提高临床诊断和治疗水平至关重要。然而，这项技术目前面临三个关键问题：从2D牙科图像中提取特征的不准确性、3D重建方法忽略了口腔组织的物理特性，以及原始CT数据中的噪声导致的重建精度低。为了解决这些问题，本文提出了一种基于密度感知和半监督的3D牙齿重建方法。该方法采用基于双平面注意力的特征增强和多维损失约束机制，增强了基础特征提取能力，同时提高了2D特征提取的准确性。然后，开发了基于口腔组织物理特性的多区域3D重建算法：通过利用口腔组织的物理特性并捕捉其密度差异，揭示了口腔骨骼、骨髓和软组织之间的关联，实现了这些多区域组织的高精度重建。最后，基于半监督动态迭代策略的3D重建效果优化通过重建生成的伪标签校正来优化结果，提高了数据质量并解决了原始CT数据中的噪声干扰。实验表明，该方法在公共的ToothFairy2023数据集和自构建的数据集上表现优异，显著提高了PSNR和SSIM指标，为口腔诊断和治疗提供了高精度的3D成像支持。代码可在此链接获取：https://github.com/zousiqi/Density-Aware。

引言

在口腔医疗诊断和治疗领域，作为传统的成像检查方法，二维牙科X光片提供的信息相对有限，与三维成像技术相比存在较大挑战[1]，[2]。因此，探索从二维图像重建三维图像的技术对于突破传统二维成像的瓶颈、全面提高口腔疾病的诊断和治疗水平具有重要的实际意义[3]，[4]。

在医学图像重建领域，特别是对于牙齿等离散组织的重建，现有研究不断探索新的方法以突破技术瓶颈。早期阶段，卷积神经网络（CNN）方法，如Ronneberger等人提出的U-Net架构[5]、Oktay等人提出的Attention U-Net[6]、Vaswani等人引入的注意力机制[7]，以及Wang等人将自注意力机制引入医学图像重建的研究[8]，[9]，大多依赖于单平面特征分析。在牙科图像重建的场景中，这阻碍了它们准确捕捉牙齿的细微形态差异；同时，缺乏有效的多维损失约束框架导致多平面特征融合时出现误差，最终导致重建结果与实际情况不符。在结构重建方法方面，Kalra等人的工作[10]、Li等人的工作[11]、Liu等人和Zhang等人探索的基于深度学习的CT重建方法[12]，[13]，以及Wang等人和Chen等人、Li等人关于组织属性建模、区域自适应正则化和多目标优化的工作[14]，[15]，都将CT重建过程视为一个整体。它们没有为牙齿和软组织等不同区域设计差异化的精细重建策略，导致重建结果无法准确反映牙齿的真实生理特征。在数据利用方面，Goodfellow等人提出的基本生成对抗网络（GAN）框架[16]、Zhao等人将其应用于医学图像重建的探索[17]、Wang等人专门为牙科图像重建设计的ToothGAN[18]，以及Zhu等人和Isola等人提出的其他GAN变体和相关研究[19]，[20]，大多采用完全监督的训练模式，存在严重的数据依赖性问题。在解决CT数据的伪影问题方面，Chen等人[21]、[22]、Wang等人[23]、Liu等人[24]和Zhang等人[25]提出的伪影减少算法在一般医学图像中取得了一定效果。然而，在对细节要求极高的牙科CT中，这些算法仍无法完全消除伪影对重建结果的负面影响。

章节片段

3D重建的特征聚合方法

在医学图像重建领域，准确重建牙齿等离散组织一直是关键焦点和挑战。早期阶段，卷积神经网络（CNN）方法，通常以Ronneberger等人提出的U-Net架构为代表，主要基于单平面或简单的多平面叠加进行特征提取。它们缺乏对不同平面特征之间关联的深入探索[26]，导致

方法

为了解决传统口腔图像重建中的问题，本文提出了一种基于密度感知和半监督学习的3D牙科重建方法。如图1所示，该流程图描述了口腔图像重建系统，它由三个模块组成：首先，双平面注意力机制增强2D特征提取[42]，[43]；其次，重建网络基于密度感知进行多区域并行重建[44]；第三，

公共数据集

ToothFairy2023是一个专门为下颌牙槽神经分割研究设计的医学成像数据集，基于锥形束计算机断层扫描（CBCT）技术收集。该数据集包含446例稀疏标注数据和153例密集标注数据，所有数据均存储为.npy格式；每位患者至少提供CBCT扫描数据和稀疏标注数据，部分患者还有额外的密集标注数据。在数据处理阶段，采用固定

结论

本文提出了一种基于密度感知的半监督框架，实现了高精度的3D牙齿重建。通过双平面注意力和多维损失的协同整合，我们显著提高了2D特征提取的准确性。所提出的基于密度的多区域重建策略通过独立建模各种口腔组织并考虑其不同的物理特性，确保了解剖学的真实性。此外，半监督动态迭代

CRediT作者贡献声明

邹思琪：写作 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，监督，软件，方法论，调查，形式分析，数据管理，概念化。张玉贵：写作 – 审稿与编辑，监督，资源获取，方法论，形式分析，数据管理，概念化。朱明月：监督，资金获取。王尊旺：监督，资源获取，项目管理。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了国家重点研发计划（项目编号：2024YFC3607700）、北京市科学技术委员会（项目编号：Z251100006025021）、中国博士后科学基金会（项目编号：2022M723863）和新疆维吾尔自治区自然科学基金（项目编号：2024D01C53）的支持。作者衷心感谢所有帮助撰写本文的人以及审稿人的支持