《Biomedical Signal Processing and Control》:3DMam-U2
GAN: High-quality reconstruction of ultrasound power Doppler images using sparse data
编辑推荐:
传统的超声功率多普勒成像(power Doppler imaging, PDI)受到噪声和伪影的影响,限制了在稀疏采集下可靠的血管可视化。研究人员提出3DMam-U2GAN,一种混合重建框架,将传统PDI处理与深度生成建模相结合,以从稀疏
传统的超声功率多普勒成像(power Doppler imaging, PDI)受到噪声和伪影的影响,限制了在稀疏采集下可靠的血管可视化。研究人员提出3DMam-U2GAN,一种混合重建框架,将传统PDI处理与深度生成建模相结合,以从稀疏数据中重建高质量图像。该方法将血管重建建模为一个逐块生成任务,将三维(three-dimensional, 3D)时空通道数据映射为二维(two-dimensional, 2D)PDI。核心架构是一个基于改进U-squared Net(U2Net)骨干网络的生成对抗网络(generative adversarial network, GAN),并辅以3D Mamba模块,以线性计算复杂度捕获长程依赖关系。窗口选择性扫描模块(window-selective scanning module, WSSM)在建模窗口间相关性的同时保留窗口内依赖关系。Mamba模块嵌入到一个3D降维阶段中,该阶段在扩展的时间窗口上高效地将通道数据投影到图像空间。该网络采用结合相对对抗和梯度惩罚项的混合损失,以增强重建保真度和噪声抑制。在所有评估的稀疏率(sparsity rate, SR)下,所提出的3DMam-U2GAN持续优于基线和近期最先进的(state-of-the-art, SOTA)方法。与奇异值分解(singular value decomposition, SVD)相比,对比度(Contrast Ratio, CR)提高了30%–70%,CR的标准差(standard deviation, SD)降低了70%–90%,对比噪声比(Contrast-to-Noise Ratio, CNR)提高了30%–50%。与SOTA方法相比,CR的SD降低了约70%,而CNR提高了约0.2%,同时其SD降低了约15%。这些结果表明,所提出的方法能够从稀疏数据实现准确高效的PDI重建,推动实时血流成像在时间受限的临床工作流中的应用。
**论文解读:3DMam-U
2GAN——基于稀疏数据的超声功率多普勒图像高质量重建**
**研究背景、现存问题与研究动机**
超声功率多普勒成像(PDI)是一种基于多普勒效应的超声成像模式,通过检测多普勒信号能量而非频移幅度或方向来成像,对低速血流高度敏感,因此能更好地检测慢速血流。近年来,超快平面波成像的普及扩展了PDI在神经科学、功能性血管成像和实时脑导航中的应用。然而,传统PDI仍面临杂波滤波的挑战:组织信号的不完全去除常导致运动伪影。常用的高通滤波(HPF)依赖于截止频率的选择,不当参数会导致杂波抑制不足或血流信号丢失;自回归(AR)模型在慢血流检测和非平稳运动方面表现有限;主成分分析(PCA)假设组织信号具有低秩性,但复杂生理过程下该假设不成立;奇异值分解(SVD)虽已成为稳健的矩阵分解技术,但阈值选择困难,且计算开销较大。近年来,鲁棒主成分分析(RPCA)及其变体(如Cauchy-norm RPCA、fRMC、RAPID)在杂波分离上有所改进,但计算成本高昂。深度学习的引入展现了潜力,但现有方法多局限于二维或一维信号处理,未能充分利用多普勒信号的时空相关性。Transformer类模型虽能建模长程依赖,但其二次计算复杂度在处理数百帧长序列时成本过高。状态空间模型(SSM)及其代表性架构Mamba通过参数化线性递推关系实现线性复杂度,在医学图像分割中已展现出效果,但其在PDI重建中的应用尚待探索。因此,亟需一种能从时空稀疏数据中输出高质量PDI的杂波抑制策略。
**研究内容与结论**
为解决上述问题,研究人员提出3DMam-U
2GAN,一种混合重建框架,将传统PDI处理与深度生成建模相结合,直接从稀疏的3D时空通道数据重建高质量2D PDI。该方法将血管重建建模为逐块生成任务,核心架构基于改进的U-squared Net(U
2Net)生成对抗网络(GAN),并嵌入3D Mamba模块以线性复杂度捕获长程依赖关系,同时引入窗口选择性扫描模块(WSSM)保留窗口内依赖并建模窗口间相关性。网络采用结合相对对抗和零中心梯度惩罚(0-GP)的混合损失函数,增强重建保真度和噪声抑制。实验结果表明,在所有评估稀疏率(SR:50%–95%)下,3DMam-U
2GAN均优于传统SVD和近期SOTA方法(如RAPID)。与SVD相比,对比度(CR)提高30%–70%,CR标准差降低70%–90%,对比噪声比(CNR)提高30%–50%;与SOTA方法相比,CR标准差降低约70%,CNR提高约0.2%且其标准差降低约15%。该方法在极端稀疏(SR=95%)下仍能保持稳定重建,具有良好的鲁棒性和泛化能力。该论文发表在《Biomedical Signal Processing and Control》。
**关键技术方法**
研究人员为开展研究主要采用了以下几项关键技术方法(样本队列来源公开PALA数据集,包括大鼠脑、肾脏和脑团注三种类型,共691个采集块,按9:1比例划分训练集和测试集,并以采集块为单位防止时序数据泄露):
1. **3DMam CNN模块**:结合3D卷积和Mamba状态空间模型,通过窗口选择性扫描模块(WSSM)对3D时空特征进行降维,同时提取局部和长程依赖关系。
2. **U
2Net生成器**:采用嵌套U型架构,包含六层编码器和五层解码器,每层由残差U块(RSU)构成,通过跳跃连接保留底层结构信息。
3. **PatchGAN判别器**:对局部图像块进行判别,增强高频结构真实性,采用LeakyReLU激活和实例归一化以保证训练稳定性。
4. **混合损失函数**:结合相对配对GAN(RPGAN)对抗损失、结构相似性(SSIM)损失、平滑L1损失和感知损失,并加入零中心梯度惩罚(R1/R2)以稳定训练。
**研究结果**
**4.1 重建性能**
通过对大鼠脑、团注和肾脏三个解剖区域的全帧重建,3DMam-U
2GAN在CR、CNR、PSNR、SSIM、NCC和半高全宽(FWHM)比值上均优于SVD,且在肾脏数据集上达到最高CR(45.862 dB)。与RAPID相比,3DMam-U2GAN在CR上更高,CNR略低但结构保真度(如NCC达0.912)更优,FWHM比值均大于1,表明血管锐度更高。
**4.2 稀疏重建研究**
在50%、75%、85%、95%四种稀疏率(SR)下对肾脏数据集进行实验。SVD重建随SR增高而显著退化,出现血流信号衰减和血管碎裂;而3DMam-U
2GAN在所有SR下保持稳定的血管形态和信号连续性,CR标准差大幅降低(如从SVD的13.37 dB降至1.69 dB),PSNR、SSIM和NCC波动极小。与RAPID相比,3DMam-U
2GAN在CR和CNR上全面占优,尤其在SR=95%时RAPID的CR骤降42.1%,而3DMam-U
2GAN仅下降0.7%。蒙特卡洛随机时间采样实验进一步证实其鲁棒性:在SR=95%时,所有指标的鲁棒性均超过94%。
**4.3 基于GAN的网络组件消融研究**
通过替换Mamba模块为xLSTM、TCN、ResNet,或替换U
2Net为UNet进行消融。3DMam-U
2Net在PSNR(19.205 dB)、SSIM(0.644)和NCC(0.860)上达到最高,且标准差最低。xLSTM-U
2Net性能最差(CR仅22.573 dB,SSIM仅0.342),表明循环门控难以优化高维3D数据;TCN-U
2Net表现中等,但不及Mamba模块;Res-UNet虽然CR最高,但PSNR和SSIM较低,表明其优先增强对比度而牺牲结构一致性。定性结果也显示3DMam-U
2Net能更好保留微血管细节。
**讨论与结论总结**
讨论部分指出,3DMam-U
2GAN有效缓解了PDI中杂波抑制与血流保留之间的长期权衡。与传统基于波束形成和滤波的方法相比,其通过深度时空建模从稀疏数据中保留弱血流信号,降低了对长采集窗口的依赖。消融实验表明,仅靠Mamba模块或U
2Net多尺度设计均不足,二者的集成才是实现稳健重建的关键。在计算效率上,RAPID处理体积需要约95 s,而3DMam-U
2GAN推理仅需0.12 s,具有实时潜力。局限性包括:实验基于小动物数据,临床大范围成像可能面临内存和训练稳定性挑战;当前模型为二维空间加时序建模,未来可扩展至全3D体素重建。研究结论部分(Section 6)原文翻译如下:在本研究中,研究人员介绍了3DMam-U
2GAN,一种基于模型的超声PDI重建框架,构建于生成对抗架构之上。在极端稀疏率下一致的CR、CNR和低方差表明其对时序信息丢失具有强鲁棒性,而非过拟合于RAPID参考。所提出的方法整合了一个定制的生成器,用于处理3D帧输入,同时配备Mamba和特征注意力模块以增强特征提取。通过将杂波滤波和稀疏血流成像整合到一个单一模型中,3DMam-U
2GAN能够直接处理3D IQ数据,即使从稀疏数据也能实现高质量多普勒血流重建。实验结果表明,该方法在血流信号提取(包括实时性能和重建精度)方面具有显著优势,为超声血流成像的智能化、实时化、高精度化发展提供了新方向。