Pat-Mamba：基于状态空间模型的光声层析成像自适应一体化图像复原

《Photoacoustics》：Pat-Mamba: Adaptive all-in-one image restoration for photoacoustic tomography via state space model

　　

光声层析成像（Photoacoustic Tomography, PAT）结合了光学对比度与超声穿透力，然而实际系统中的硬件限制和工作流程约束不可避免地引入了多种退化途径，包括通道欠采样、角度欠采样、带宽限制和加性噪声，严重降低了重建图像质量。现有的基于学习的解决方案通常专门针对单一退化类型，因此在实践中需要部署多个模型。研究人员提出了PAT-Mamba，这是一种新型的一体化盲复原框架，能够在无需先验采集条件的情况下同时解决多种常见的退化类型。PAT-Mamba融合了两项互补的创新：TransMamba模块，其利用选择性状态空间模型（Selective State Space Model, SSM）替代自注意力机制，以线性复杂度捕捉长距离依赖，实现高效的全局上下文传播，用于伪影抑制和结构细节恢复；以及自适应频率学习模块（Adaptive Frequency Learning Blocks, AFLB），其分析特定于退化的频率线索，生成可学习的频率掩码，并通过交叉注意力和双分支门控来细化频率子带。在三个代表性数据集上的实验表明，PAT-Mamba在大多数退化场景下的性能均达到或优于最先进的基线模型，在胚胎模拟数据集上平均峰值信噪比（PSNR）达到37.04 dB（领先第二名0.91 dB），活体小鼠数据集达到30.41 dB（领先0.53 dB），临床动脉数据集达到30.50 dB。这些结果证明，PAT-Mamba消除了针对不同退化类型部署多个专用网络的需求，其盲复原能力免除了临床工作流程中对先验退化诊断的要求，为现实世界的PAT系统提供了实用且高效的复原解决方案。

论文解读：Pat-Mamba——面向光声层析成像的自适应一体化图像复原新范式

光声层析成像（Photoacoustic Tomography, PAT）作为一种融合光学激发分子特异性和超声探测深层穿透能力的混合成像模态，已在深组织成像、临床转化及功能血流动力学映射等领域展现出突破性潜力。然而，将这一技术转化为常规临床应用仍面临严峻挑战。实际PAT系统需在硬件配置、采集效率和成本控制之间进行权衡，这些折衷共同导致了多种退化途径的出现，包括激发/接收链引入的加性高斯噪声、有限探测器覆盖导致的角度欠采样、换能器数量减少引发的通道欠采样，以及传感器频率响应引起的带宽截断。传统的重建算法（如延迟叠加DAS或滤波反投影FBP）会放大这些退化效应，产生条纹伪影、结构畸变及细微细节的严重丢失。尽管深度学习为PAT重建带来了新机遇，但现有方法大多固守“单任务范式”，即为每种退化类型分配一个专用模型。这种模式不仅导致跨退化泛化能力有限、训练和运维成本高昂，且在混合或未知退化下鲁棒性差，迫使临床工作流在推理前必须手动选择模型，难以满足实际应用的便捷性与普适性要求。

针对上述问题，由Zhihao Chen、Ting Feng及Dean Ta组成的研究团队在《Photoacoustics》发表了题为“Pat-Mamba: Adaptive all-in-one image restoration for photoacoustic tomography via state space model”的研究论文。该研究提出了PAT-Mamba，据作者所述，这是首个专为PAT设计的一体化盲复原框架。该框架旨在通过单一模型处理多种常见退化，无需预先指定退化类型，其核心创新在于引入了基于状态空间模型的高效全局建模能力和基于退化感知的自适应频率处理机制。

为实现上述目标，研究人员构建了基于编码器-解码器结构的PAT-Mamba网络，并采用了以下关键技术方法：首先，设计了TransMamba模块，利用选择性状态空间模型（SSM）替代Transformer中的自注意力层，将计算复杂度从O(N2)降至O(N)，以适应高分辨率PAT图像的全局上下文建模；其次，开发了自适应频率学习模块（AFLB），包含掩码生成器、频率挖掘和频率细化器三个组件，用于在频域分离并增强不同退化类型的特征。研究在三个数据集上进行了验证：胚胎模拟数据集（Embryo, 1020幅/类）、活体小鼠数据集（Mice, 20只）以及临床动脉数据集（Artery, 6名志愿者），涵盖了通道欠采样（US）、窄带滤波（NB）、角度欠采样（UA）和高斯噪声（GN）四种典型退化场景。

研究结果

1. 多退化问题与总体架构

研究人员首先定义了PAT成像中普遍存在的四种退化类型及其在频域的特征差异。通过对比传统单任务范式（图1a）与所提多任务一体化范式（图1b），确立了PAT-Mamba的整体架构（图3）。该架构采用类似U-Net的结构，编码器通过渐进式下采样提取多尺度特征，解码器则通过上采样恢复空间分辨率，并在瓶颈层和中间解码层插入AFLB模块进行频率自适应处理。

2. TransMamba模块

该模块旨在解决Transformer在处理高分辨率PAT图像时计算量过大的问题。MambaLayer利用选择性状态空间模型（公式4）维持隐藏状态h_t，通过输入依赖的参数化（B, C矩阵）动态调整信息流，实现了线性复杂度下的长程空间推理。GDFN模块（公式5-7）则结合深度卷积与门控机制，进一步提炼特征并抑制噪声，通过残差连接促进梯度流动。

3. 自适应频率学习模块（AFLB）

鉴于不同退化类型在频域具有独特签名（如US引入径向条纹，NB衰减高频细节），AFLB被设计用于频域的自适应处理（图4）。

• •
  掩码生成器：通过对输入图像进行全局平均池化（GAP）预测归一化缩放因子α_h和α_w（公式8-9），进而生成互补的低频和高频二进制掩码M_l和M_h，实现对不同图像频谱特性的自适应感知。
• •
  频率挖掘：利用二维快速傅里叶变换（FFT）将特征转换至频域（公式9），应用掩码分离低频F_l^freq和高频F_h^freq分量（公式10），经逆FFT（IFFT）和取模运算得到空间域特征（公式11）。随后通过通道交叉注意力（CCA）机制（公式12-14），实现频率特征与解码器特征间的跨通道信息交换。
• •
  频率细化器：采用交叉门控设计，利用低频特征的全局统计信息生成通道门控A^c（公式15）调制高频特征，同时利用高频特征的空间线索生成空间门控A^s（公式16）加权低频特征，最终通过双分支门控输出细化后的特征图（公式17-18）。

4. 训练策略与损失函数

模型采用AdamW优化器（β₁=0.9, β₂=0.999）进行训练，初始学习率为2×10^-4，配合余弦衰减策略和线性预热。每个mini-batch包含8个随机裁剪的128×128图像块，并施加水平/垂直翻转及90度旋转的数据增强。原始PAT重建图为单通道，研究中将其复制为三通道以匹配网络输入维度。

讨论与结论

研究结论指出，PAT-Mamba成功解决了PAT成像中多退化类型并存且难以统一处理的难题。通过引入TransMamba模块，研究人员在不牺牲全局上下文建模能力的前提下，显著提升了计算效率，克服了传统Transformer在医学图像处理中的算力瓶颈。而AFLB模块的引入，则是首次将退化感知的频率掩码学习和跨频率调制应用于PAT复原，使得单一模型能够智能地区分并处理US、NB、UA和GN等不同性质的退化。

实验结果表明，PAT-Mamba在模拟、动物实验及临床数据三个层级上均表现出色，其平均PSNR指标全面超越现有先进基线模型。这意味着在实际临床场景中，医生不再需要根据图像质量主观判断退化类型并切换不同算法，而是可以直接使用PAT-Mamba进行“盲复原”，这不仅简化了临床工作流，更重要的是保留了血管形态和组织边界等关键诊断信息，为PAT技术的临床转化和精准医疗提供了强有力的工具支撑。