利用神经-Powell优化算法和曲率引导技术进行3D耳部重建

《Pattern Recognition Letters》：3D Ear Reconstruction with Neural-Powell Optimized SOP and Curvature Guidance

高精度3D耳重建方法研究：提出神经优化SOP参数、曲率引导平滑和可见性纹理映射，实验显示较3DMM方法精度提升80.7%-81.2%，应用于生物识别、个性化医疗和可穿戴设备定制。

　　

周和斌|刘莉|李江云|袁莉

北京科技大学自动化与电气工程学院，北京，100083，中国

摘要

为了解决三维（3D）耳朵重建精度有限的问题，本研究提出了一种基于关键点的混合优化方法，用于端到端重建，从而从单视图图像中生成高保真的3D耳朵模型。我们提出了神经-鲍威尔优化SOP（缩放正交投影），该方法结合了三种策略：最小二乘线性求解（3DMM）、鲍威尔的无梯度非线性优化和基于神经网络的非线性细化。这种方法能够实现SOP参数的高精度估计。在此基础上，我们开发了一个基于曲率的个性化3D重建模块，该模块使用高斯曲率引导的拉普拉斯平滑来保留几何细节，同时确保表面连续性。此外，还提出了一种考虑可见性的自适应纹理映射算法，该算法利用表面法线分析和双线性插值来实现高保真纹理重建。实验结果表明，与3D可变形模型（3DMM）相比，神经-鲍威尔优化的SOP将归一化均方根误差（RMSE）和归一化平均误差（NME）分别降低了80.7%和81.2%。我们的方法在个性化特征表示和几何细节保留方面表现出显著优势，为解决3D耳朵数据集有限的问题提供了新的技术途径。

引言

3D数据提供了精确的三维结构信息，并具有更丰富的特征表示能力，受遮挡、姿态和光照的影响较小，因此在生物特征识别、医学诊断等领域有广泛的应用。然而，3D数据采集的成本较高且扫描时间较长。因此，从2D图像重建3D数据已成为一个研究热点。[1]、[2]。

在生物特征识别中，3D重建技术已应用于指纹识别、手势识别、手指静脉识别等领域。它能够更精确地捕捉个体的三维生物特征，从而提高识别准确性和防伪能力。例如，Xu等人提出了FingerNeRF方法[1]，该方法通过结合神经辐射场（NeRF）和特征引导的Transformer模块成功提高了3D指纹生物特征识别的性能。此外，Kauba等人开发了一种基于镜子的3D手指静脉识别设备[2]，该设备利用镜子技术实现了低成本和高精度的三维手指静脉图像采集，为手指静脉识别技术的广泛应用提供了新的思路。

在医学应用中，3D耳朵重建技术通过捕捉精确的耳朵几何形状来改善个性化医疗保健，适用于耳部手术和矫正干预。3D可变形模型（3DMM）与健康形态的比较分析有助于参数优化和定制治疗计划，提高手术精度和结果预测。Wersényi等人（2023年）证明3D打印可以生产定制的耳朵支架，降低手术成本和时间[3]。Gao等人（2024年）使用生物相容性材料开发了3D打印的组织工程支架，以促进软骨再生[4]。

在中医领域，3D重建技术为传统诊断方法提供了重要的技术支持。最近在3D形态分析方面的进展显示了其在医学诊断中的巨大潜力。Facchi等人（2025年）证明，在3D面部分析中，语义关键点比随机采样具有更好的性能。这项技术对于疾病诊断非常重要，因为面部形态变化可能反映了遗传综合征和病理特征。该研究使用关键点作为图节点，并结合GNN模型来识别3D面部异常，有助于早期诊断[5]。同样，将3D重建与耳朵关键点检测相结合可以提高识别关键耳部区域的精度，因为耳廓作为一个诊断工具，其形态变化（如凹陷、凸起和棱纹）可以指示内部器官状况，需要三维评估才能进行最佳评估[6]。

3D耳朵重建技术使得耳机和助听器等个性化可穿戴设备的定制成为可能，需要通过精确的三维耳朵数据来精确适应个体耳朵的形状，以实现最佳贴合度和舒适度。总之，3D耳朵重建技术在生物特征识别、个性化医疗、中医诊断和可穿戴设备定制方面具有巨大潜力，所有这些应用都需要高精度的个性化3D模型。

然而，与相对成熟的面部3D重建领域相比，耳朵3D重建研究仍处于发展阶段，面临着数据稀缺和技术挑战的双重限制。当前的数据集存在显著局限性，而UND [7]和AudioEar数据集虽然提供了2D-3D对应关系，但3D分辨率较低，耳甲区域的数据极为稀疏，使得准确的耳朵结构重建变得困难。尽管YorkEarModel [8]数据集提供了500个不同个体的3D耳朵模型，但缺乏相应的2D图像。耳朵形态的显著个体差异对重建算法的精度和鲁棒性提出了更高的要求。因此，本文重点关注高精度3D耳朵重建的挑战。

相关工作

在3D重建领域，面部建模一直是关键的研究焦点，为新型3D结构方法奠定了基础。Vetter和Blanz（1999年）首次使用PCA对200个面部网格进行3D可变形模型（3DMM）的研究，创建了参数化的形状和纹理模型[9]。Wu和Ben-Arie（2007年）通过HPCA和基于阴影的形状恢复以及多级优化增强了细节重建[10]，而Kusnadi等人（2024年）开发了基于ToF相机的重建方法，该方法结合了PCA和CNN特征

方法概述

如图1所示，3D耳朵重建系统包括四个核心模块：使用深度神经网络进行2D语义特征提取的关键点检测；结合线性求解、鲍威尔优化和神经细化的神经-鲍威尔优化SOP，用于投影参数；通过基于曲率的网格变形和拉普拉斯平滑实现个性化3D重建；以及通过可见性加权的双线性插值进行纹理映射，以实现高质量的表面重建。

实验数据

我们使用了YorkEarModel数据集[14]，其中包含500个个体耳朵点云，每个点云有7,111个点，这些点云保持了一致的点顺序索引，从而无需大量标注即可进行基于3D平均模板的注释。2D数据集包括来自iBUG野外耳朵数据集[8]的700张图像（500张）和作者收集的高分辨率图像（200张），分为CollectionA和CollectionB两个子集，训练集与验证集的比例为7:3。每张图像都进行了55

结论

人耳具有复杂的解剖几何结构，具有显著的曲率和凹凸结构，这使得精确的3D重建变得具有挑战性。为了解决这些问题，本文介绍了三项关键进展。首先，结合最小二乘线性估计、鲍威尔的无梯度非线性优化和神经残差校正的融合策略提高了2D到3D投影参数估计的准确性。其次，基于曲率的拉普拉斯平滑方法保留了

CRediT作者贡献声明

周和斌：可视化、研究、形式分析。刘莉：资源、项目管理、数据管理。李江云：监督、方法论、概念化。袁莉：撰写初稿、软件开发、方法论。

利益冲突声明

我们确认本手稿不存在已知的利益冲突。