物理信息驱动的多模态学习在牙科光谱反射率快照预测中的应用与临床价值

《Quantitative Biology》：Physics-informed multimodal learning for snapshot dental spectral reflectance prediction

本文提出了一种融合物理先验与深度学习的新型快照光谱成像框架，通过双子网络（ISNet/HRNet）和注意力机制（CA/SA），从线性RGB图像精准重建牙齿光谱反射率。该技术有效解决了传统颜色匹配中的同色异谱问题，在4000+牙科样本数据集上实现MSE=0.002、SSIM=0.8496的高精度重建，ΔE<1达到临床不可辨阈值，为牙冠修复的个性化色彩还原提供了可靠解决方案。

　　

1 引言

牙齿光谱反射率作为其本质光学特性，直接反映釉质与牙本质的分子结构差异，是实现精准牙科颜色匹配的物理基础。传统比色方法受光照条件与主观判断影响易导致同色异谱现象，而光谱成像技术通过捕获物体在不同波长下的反射特征，为牙科修复提供了客观量化工具。现有光谱成像技术如空间扫描法、滤光片法存在时间分辨率低、系统笨重等局限，而编码孔径快照光谱成像（CASSI）虽能单次曝光获取三维光谱数据，但其数据驱动模式常忽略成像物理模型，制约了临床适用性。本研究通过将光学物理先验嵌入多模态深度学习框架，构建了从线性RGB图像到高光谱反射率的端到端重建管道，为牙科颜色匹配提供了兼具高效性与物理可解释性的新范式。

2 结果

2.1 实验方案

研究采用分光镜成像系统同步采集牙齿样本的RGB与高光谱图像（图1A），确保数据空间配准精度。重建框架包含三个核心模块（图1B）：基于ColorChecker图像预训练的相机光谱灵敏度估计网络（MSNet）、从白板RGB图像反演光源光谱的照明估计网络（ISNet），以及融合物理先验的牙齿高光谱反射率重建网络（HRNet）。通过均方误差（MSE）、结构相似性指数（SSIM）和CIEDE2000色差指标多维度评估重建效果（图1C）。

2.2 训练结果

模型在4000组训练数据上经200轮迭代后收敛，总损失值稳定于0.15（图2）。测试集重建光谱的MSE达0.002，SSIM为0.8496，显著优于基线模型。

2.3 消融实验

注意力机制的有效性通过系统性消融实验验证（表1）。完整模型（Ours）在MSE（0.002）、余弦损失（0.0009）和SSIM（0.8496）上均最优，而无注意力模块的模型SSIM降至0.8253。CIEDE2000色差分析显示（图3），完整模型平均ΔE=0.95（低于视觉感知阈值1），而基线模型ΔE为1.38–1.51，尤其在牙齿边缘等高纹理区域差异显著。误差分布图（图4A）表明完整模型误差集中低于0.04，空间误差图（图4B）进一步显示注意力机制有效抑制了牙齿-背景边界的重建伪影。多波段可视化（图5）与全波段指标分析（图6）共同证实，注意力机制在450–600 nm波段对光谱保真度提升最为显著。

3 讨论

本研究提出的物理信息多模态学习框架，通过将相机灵敏度、光源光谱等物理参数作为网络先验，实现了临床可用的牙齿光谱反射率快照预测。相较于传统方法，该方案降低了对专业硬件的依赖，且模块化设计便于拓展至其他生物医学成像场景。当前局限在于模型尚未验证于非牙科材料，未来将通过跨域适应研究提升普适性。

4 材料与方法

4.1 光谱成像原理

基于成像物理模型建立离散化方程：牙齿RGB图像I_c^(tooth)= Σ_λE(λ)R_tooth(λ)S_c(λ)，白板图像I_c^(white)= 0.88Σ_λE(λ)S_c(λ)，通过神经网络学习从RGB到32波段高光谱的逆映射函数R = f(I_RGB|E,S)。

4.2 光谱重建神经网络

• •
  MSNet：通过多尺度卷积从ColorChecker图像单独提取R、G、B三通道相机灵敏度曲线（图7）。
• •
  ISNet：编码器-解码器结构融合通道/空间注意力（CA/SA），从白板RGB与相机灵敏度估计光源光谱E(λ)（图8）。
• •
  HRNet：以牙齿RGB图像为主输入，联合估计的E(λ)和S_c(λ)重建光谱反射率，注意力机制增强特征选择（图9）。

4.3 注意力机制

CA模块通过查询（Q）-键（K）-值（V）矩阵运算重加权通道特征（图10），SA模块则聚焦空间显著区域（图11），共同提升网络对光谱-空间关联性的建模能力。

4.4 损失函数

组合损失函数L = L_MSE+ L_cos+ L_SSIM+ λ||W||₂，同步优化数值精度与结构保真度。

4.5 实验系统

自制伪平行光源系统集成11种LED（3白光+8单色），配合高光谱相机（204波段，397–1003 nm）与RGB相机（TIFF原始数据）通过分光镜同步采集（图12）。样本为华西口腔医院提供的10颗修复牙（氧化锆贴面厚度0.4–2.0 mm），符合伦理审批（WCHSIRB-CT-2022-257）。

4.6 数据集构建

经去马赛克、白平衡、几何配准等预处理后（图13），通过旋转、剪切、添加高斯噪声（σ=0.1）扩增数据，最终4400组数据按4000/400/400划分训练/验证/测试集。

4.7 训练细节

使用Adam优化器（学习率10^-4，权重衰减10^-5），批量大小12，Tesla P100单批次推理耗时0.95秒，具备临床实时应用潜力。