《Biomedical Signal Processing and Control》:Encoder-decoder CNN based morphological filtration approach for automatic noise removal from ultrasound images
编辑推荐:
本文提出基于CNN编码器-解码器的图像去噪模型结合形态学滤波器,用于同时消除超声图像中的 Speckle和Gaussian噪声,实验表明PSNR、SSIM和BRISQUE指标分别提升24%、18%和20%,且在BRISK和r2-score评估中表现优异。
Kumar Mohit | Maninder Singh | Rajeev Gupta | Basant Kumar
电子与通信工程系,莫蒂拉尔·尼赫鲁国家技术学院(MNNIT),阿拉哈巴德,普拉亚格拉杰,印度
摘要
本文提出了一种基于计算机辅助检测(CAD)的编码器-解码器模型,用于去除受斑点噪声和高斯噪声共同影响的超声图像。随着医学图像处理对更高准确性的需求,CAD技术逐渐取代了手动分析方法。然而,许多因素会影响医学诊断的准确性,其中之一就是在图像采集过程中产生的噪声干扰,因此去噪成为医学图像处理的重要环节。本研究通过在肝脏超声图像上同时添加不同噪声水平(标准差=0.10、0.50)的斑点噪声和高斯噪声来进行实验。利用所提出的编码器-解码器卷积神经网络(CNN)滤波器对处理后的图像进行去噪,从而恢复接近原始图像的质量。此外,还在去噪后应用形态学滤波器(MF)以进一步去除可能残留的噪声并提升图像质量。将这种CNN-MF组合方法的性能与现有滤波器进行了对比。在全面参考图像感知质量评估(PSNR和SSIM)和无参考图像感知质量评估(BRISQUE分数)方面,我们的模型表现优于其他方法。与经典去噪算法相比,PSNR提高了24%,SSIM提高了18%,BRISQUE分数提高了20%。此外,通过二值鲁棒不变可缩放关键点(BRISK)和“r2分数”参数评估,该模型在图像重建质量和PSNR、SSIM方面也表现出色。
引言
医学成像是一种广泛应用于多种致命疾病早期诊断的技术。超声检查(USG)因其易于获取、成本低廉且非侵入性而成为常用的成像方式[1][2],尤其在体内诊断中具有优势。虽然超声成像在软组织扫描方面效果最佳,但在采集过程中容易受到斑点噪声、高斯噪声等内部噪声的影响。高斯噪声是一种具有正态分布的加性随机噪声,而斑点噪声则是由于组织内部回声的干涉产生的乘性随机噪声,这种噪声在超声图像上表现为颗粒状纹理,从而影响诊断的准确性和可靠性。
加性噪声具有对称性,易于建模;而乘性噪声则依赖于图像本身,具有非线性特性[3]。一些研究者将医学图像噪声的概率密度函数(PDF)归类为高斯噪声,并采用传统的双边滤波器(CBF)进行去除。双边滤波器在噪声模式规则或符合高斯分布时效果较好[4],但实际医学图像通常受到不规则且复杂的斑点噪声干扰。斑点噪声的模式会随着换能器的工作频率和组织结构的不同而变化,但在相同工作条件下其随机性保持不变。这也是本研究的出发点。另外,图像中像素之间的相关性以及噪声元素的无相关性是设计去噪滤波器的基础[5]。
噪声会通过随机改变原始像素值来降低图像的真实性与质量,从而导致对比度和分辨率下降。超声图像中常常存在由回声干涉形成的明暗斑点噪声,这会改变像素强度并丢失图像中的信息。分析这种依赖信号的斑点噪声非常复杂,因此理解其本质对于获得准确的诊断信息至关重要。
在当前的自动化诊断场景中,由于噪声的存在,计算机辅助分析的可靠性可能会受到影响。因此,去斑点和/或去噪技术一直是许多研究者的关注焦点[6]。近年来,深度学习(DL)技术的发展不仅实现了疾病的早期计算机辅助检测,还实现了医学图像的自动去噪。此外,深度学习还提升了对比度增强能力和计算速度,克服了优化要求、手动设置等方面的限制。
尽管深度学习技术在保持边缘清晰度和结构相似性等方面取得了显著成果,但仍存在许多挑战:(i)大型复杂深度学习去噪网络需要大量计算资源;(ii)无监督深度CNN模型去噪难度较大;(iii)学习特征需要真实医学图像,而这些图像难以获取。在设计高效可靠的去噪算法时还需权衡以下因素:(i)过于严格的降噪机制可能导致超声图像细节丢失和训练数据过拟合,从而影响诊断准确性;(ii)实时反馈的延迟可能降低降噪效果;(iii)后处理虽然能更彻底地去除噪声,但会延迟结果。设计自动去噪算法需要在这些因素间找到平衡,以满足特定应用的需求并实现有效的噪声去除。
为了解决这些计算复杂性问题并平衡这些权衡,本文改进了自动编码器和U-Net CNN,构建了一种基于编码器-解码器的Contorted U-Net深度神经网络,并结合顶帽滤波(THF)形态学运算符来获得具有最佳PSNR和SSIM的去噪图像。通过BRISQUE[8]和“r2分数”[9]参数评估了去噪图像的视觉质量。为了更好地训练模型并避免过拟合,本研究使用了大量在线肝脏超声图像和医院提供的真实图像数据。
章节摘录
预处理和后处理中的去噪
去噪技术可分为两个阶段应用:预处理技术在图像采集过程中用于增强图像信息;后处理技术则在采集后单独应用以过滤噪声。当使用多个换能器获取超声图像时,通常会采用预处理技术。
去噪架构
本研究的主要目标是尽量减少图像采集过程中噪声对医学图像的影响,同时保留图像的细节。医学图像通常会受到斑点噪声和高斯噪声的干扰。
所提出的去噪算法框架示意图如图1所示。本文的其余部分结构如下:第3节提出方法论,第4节实验分析,第5节讨论,第6节结论。
性能评估
图像质量是评估去噪算法可靠性的关键因素。图像质量评估通过主观和客观方法进行。主观方法依赖于人类视觉判断图像质量的能力,而客观方法则通过数学计算各种参数来评估图像质量。
Contorted U-Net模型的结果
使用Python中的Contorted U-Net架构对含噪声的肝脏超声图像进行训练,以最小化模型的整体损失。
讨论
超声图像的自动去噪提高了医学诊断领域的多种应用的效率。在肌肉骨骼、心脏病学和产科成像等需要实时监测的领域,去噪技术显著提升了诊断能力。即使在紧急情况和床旁成像中,也能帮助做出更明智的决策和进行更准确的评估。图像引导的介入手术也使得操作更加精确和微创。
结论与未来展望
本文提出了一种高效可靠的去噪模型,用于医学图像的准确评估。近年来,基于深度学习的CAD系统在去噪领域取得了显著进展,这促使我们提出了一种基于编码器-解码器的深度学习网络来解决斑点噪声问题。Contorted U-Net旨在完全去除图像噪声,同时不牺牲图像分辨率。为此,在图像重建过程中省略了一些连接路径以保留部分细节。
CRediT作者贡献声明
Kumar Mohit:撰写初稿及方法论部分。Maninder Singh:数据收集与验证。Rajeev Gupta:资源协调与监督。Basant Kumar:审稿与编辑。
作者声明没有已知的可能影响本文研究的财务利益或个人关系。