具有几何感知能力的、依赖于视图的3D超声隐式表示重建

《Neurocomputing》：Geometry-aware view-dependent 3D ultrasound implicit representation reconstruction

3D超声场景通过二维超声图像重建的研究，提出基于隐式神经表示的几何感知方法，结合物理渲染模型和多尺度哈希编码提升反射与散射的区分能力，实验验证了高几何精度和物理属性估计优势。

　　

刘斌|康佳豪|李志正|顾涛|何志芬|张从轩|李波

南昌航空大学，中国江西省南昌市红谷滩区凤和南路696号，330063

摘要

从一组二维超声图像重建三维（3D）场景在医学研究中受到了广泛关注。最近的研究表明，神经隐式表示提供了一种新颖且高保真的解决方案。然而，大多数现有的隐式方法忽略了超声反射与人体组织几何结构之间的强相关性，这限制了它们区分来自大组织界面的反射和来自微结构的散射的能力。此外，现有方法没有考虑组织和器官特征之间的尺度不一致性，导致细节信息的丢失。在这项工作中，我们提出了一种基于几何结构的视图依赖的隐式3D超声重建方法。首先，我们设计了一种新的基于物理的体积渲染模型，可以更准确地重建各向异性的和与几何结构相关的反射。然后，我们采用多分辨率哈希编码策略来捕获组织和器官在不同尺度上的特征，这不仅有助于区分大范围的反射和细粒度的散射，还显著加快了我们的重建过程。实验表明，所提出的方法能够实现高视觉质量和快速的3D超声重建。此外，额外的实验表明，该方法在区分超声反射和散射方面表现优异，同时保留了反射的各向异性，从而帮助医务人员有效识别组织结构。

引言

大多数二维（2D）超声设备仅限于生成解剖结构的单个横截面图像，这给超声技师带来了从2D超声扫描数据中 mental 上组装3D场景的复杂挑战。此外，由于超声成像数据的各向异性特征，上述难度进一步加剧。因此，基于2D超声成像数据的3D重建技术在医学领域受到了越来越多的关注。然而，目前用于显式三维超声重建的方法[1]、[2]、[3]使用低分辨率的分割网格，受到有限分辨率的固有限制，并且存在连续性丢失的问题[4]。

近年来，隐式神经表示方法[5]、[6]、[7]、[8]、[9]、[10]、[11]（例如神经辐射场（NeRF）[6]）在3D场景重建和从多视图图像合成新视图方面表现出了令人印象深刻的能力。这些方法为3D超声重建提供了有希望的替代方案。例如，李等人[9]和宋等人[10]分别应用NeRF算法进行脊柱数据和颈动脉血管的3D超声图像重建。然而，这些方法没有考虑超声的物理特性，特别是随着观察角度变化而产生的外观和几何结构的内在差异，导致重建不准确。Ultra-NeRF[11]试图通过在隐式神经表示中引入基于物理的渲染方程来解决上述问题，以模拟超声成像的机制。具体来说，他们提出可以将2D超声成像数据分解为不同的反射和散射成分。通过分析来自重叠超声扫描的组织特性，模型可以学习每个成分的独特贡献。Ultra-NeRF[11]在考虑物理先验的情况下，在3D隐式重建超声方面取得了很大进展。然而，它仍然存在以下问题：首先，Ultra-NeRF忽略了超声反射与人体组织几何结构之间的强相关性，限制了它们区分来自大组织界面的反射和来自微结构的散射的能力；其次，它没有考虑组织和器官特征之间的尺度不一致性，导致细节信息的丢失。

为了解决上述挑战，本文提出了一种基于几何结构的视图依赖的隐式3D超声重建方法。首先，我们设计了一种专门适用于超声物理的新的体积渲染模型。为了解决超声反射的各向异性问题，我们利用具有高表示能力的隐式神经网络来模拟体积渲染的组织特性，特别关注声阻抗。此外，所提出的渲染模型具有几何感知能力，可以通过利用声阻抗的神经梯度直接计算组织截面的法线。然后，为了进一步区分反射和散射，我们实施了多尺度哈希编码策略来捕获不同尺度上的组织特征。基本动机是，粗尺度哈希编码对于优化反射特别有益，因为这些反射通常跨越较大的组织截面。此外，粗尺度编码有效地减轻了组织内部的散射噪声干扰。同时，多尺度哈希编码使模型能够捕获细粒度的散射细节。此外，哈希编码策略可以显著加快我们的训练和重建过程。实验结果表明，所提出的隐式表示模型能够以更高的几何精度和更精确的物理属性估计重建3D超声场景，显著提高了其区分反射和散射的能力。

总结来说，所提出方法的主要贡献包括：

• $$
  提出了一种新的基于几何结构的视图依赖的3D超声神经隐式表示方法，实现了更准确和高保真的超声重建。
• $$
  提出了一种专门适用于超声物理的新体积渲染方程，通过表面法线估计增强了反射和散射之间的区分能力。
• $$
  采用多尺度哈希编码策略来捕获不同尺度上的组织特征，进一步增强了区分反射和散射的能力，同时加快了训练和重建过程。
• $$
  定性和定量实验表明了所提出方法的优势。

部分内容

神经隐式表示

虽然在基于深度学习的几何处理中使用了多种3D形状表示方法，如点云[12]、[13]、网格[14]、[15]和体素网格[16]、[17]、[18]，但神经隐式函数[6]、[19]、[20]、[21]因其能够表示复杂拓扑并实现理论上的无限分辨率而受到研究人员的越来越多的关注。在原始的NeRF[6]中，场景由一个全连接神经网络表示。该网络接受空间

主要方法

在本节中，我们将详细介绍所提出的基于几何结构的超声重建方法。所提出方法的流程如图2所示。与直接预测反射率的Ultra-NeRF不同，所提出的方法更好地遵循了超声的物理原理。我们提出了一种新的基于几何结构的超声渲染框架，通过预测空间中每个3D点的声阻抗来实现更准确的3D重建

实验

在本节中，我们首先介绍所提出方法中使用的数据集、指标和实现细节。然后进行定性和定量实验，以证明我们在重建保真度、重建速度、可解释性和视图依赖性方面的优势。最后，进行了两项消融研究实验来验证所提出方法的有效性。

结论

在本文中，我们提出了一种基于几何结构的视图依赖的超声表示方法，该方法从一组二维超声帧中学习三维对象的深度神经隐式表示。所提出的模型基于超声物理，并使用可分离的多尺度哈希编码特征来区分和表示各向异性的宽范围超声反射和细粒度散射，这对于3D超声重建非常有效。

CRediT作者贡献声明

刘斌：撰写 – 审稿与编辑、监督、方法论、资金获取。康佳豪：可视化、验证、项目管理、调查、数据管理。李志正：可视化、数据管理。顾涛：调查、数据管理。何志芬：资源、资金获取、形式分析。张从轩：资源、形式分析。李波：撰写 – 审稿与编辑、方法论、资金获取、概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本项工作部分得到了中国自然科学基金（62472205,62362051, 62172198）、江西省学术带头人培训计划（20232BCJ22001）、江西省自然科学基金重点项目（20224ACB202008）、江西省重点研发计划（20232BBE50022）、江西省自然科学基金（20232BAB212013, 20232BAB202047）以及北京大学南昌创新研究院开放项目的资助。

刘斌于2021年在中国大连工业大学获得计算数学博士学位。他目前是中国南昌航空大学数学与信息科学学院的副教授。他的当前研究兴趣包括几何处理和深度学习。