面向出血性脑卒中识别的多模态微波影像双通道深度学习融合模型

本文提出了一种用于微波出血性脑卒中（HS）识别的物理信息多模态深度神经网络。该模型（Dual-Channel Multi-Input Neural Network）整合了时域波形和自适应共焦微波影像（ACMI）的互补特征，在构建的高保真仿真数据集上进行了特征级跨模态融合。实验表明，该方法相比单模态基线提升了识别准确性与鲁棒性，为床旁和院前快速、无电离辐射的脑卒中筛查评估提供了新的技术思路。

　　

脑卒中是全球主要的致死和致残原因之一，其中出血性脑卒中（HS）虽仅占10-20%的病例，但死亡率和致残率极高。及时诊断与干预至关重要，但当前的神经影像评估主要依赖计算机断层扫描（CT）和磁共振成像（MRI）。CT具有高灵敏度但使用电离辐射且设备笨重，限制了院前应用；MRI无辐射但耗时、昂贵且操作复杂。因此，开发紧凑、无电离辐射、便携的实时脑部监测成像技术具有重要意义。

在候选技术中，微波成像（MWI）作为一种利用健康与病变组织间介电特性对比的低成本、无电离辐射方法，日益受到关注。在典型的脑部MWI系统中，多天线阵列环绕头部部署，微波信号在脑组织中传播，散射场在多个端口被采集。通过逆重构或波束成形，可以生成指示潜在病灶的空间能量图。然而，在实际场景中，颅骨的高介电常数和强吸收会引入严重的畸变和能量失真，而通道间的幅相不平衡、校准误差及个体解剖差异进一步产生噪声和伪影。这导致重建的微波图像分辨率有限、质量不稳定，在有限和噪声测量下的鲁棒识别仍是一个开放挑战。

算法层面，现有MWI流程主要强调图像形成，而对有限且不完美测量下的下游病灶识别关注较少。非线性逆方法如Born迭代法（BIM）和对比源反演（CSI）可提高定量精度但计算量大且对模型失配敏感。线性化方法如截断奇异值分解（TSVD）以牺牲空间细节为代价提高了稳定性。共焦微波成像（CMI）提供了一种基于相关性的波束成形替代方案，避免了大规模优化并能快速生成能量图。自适应CMI（ACMI）进一步将数值计算的背景场分布纳入成像核，以改善聚焦并减少伪影。尽管有这些进展，基于学习的识别仍受限于有限的测量和不完善的物理模型，现有流程仍未充分利用原始信号域，且缺乏对时序建模和融合策略的统一、物理信息化的评估。

本文提出的解决方案是一个基于微波数据的、用于出血性脑卒中识别的物理信息多模态学习框架。研究构建了一个高保真仿真数据集，该数据集耦合了有限元法（FEM）生成的时域波形和场分布增强的自适应共焦微波成像（ACMI）图像。基于此，设计了一个双通道多输入神经网络，对这两种模态进行特征级融合以完成出血分类。该框架的主要贡献包括：1. 物理信息多模态数据集。构建了一个高保真微波脑仿真数据集，联合提供时域波形和场分布增强的共焦图像。该流程结合了解剖变异性、颅骨引起的失真和系统噪声，生成了适用于受控训练和消融研究的配对波形-图像数据。2. 面向波形-图像融合的双通道多输入架构。开发了一个双通道神经网络，结合了基于ResNet的图像编码器和一维卷积神经网络-长短期记忆网络（1D CNN-LSTM）波形编码器，并执行特征级融合。通过利用空间定位的微波图像和具有时间信息量的波形之间的互补性，所提架构相比单模态模型和传统MWI流程，在出血性脑卒中识别上实现了更高的准确性和改进的鲁棒性。3. 多模态MWI中时序编码器的统一评估。建立了一个统一的实验框架，系统比较了用于微波波形的多种时序编码器，包括1D CNN-LSTM、时序卷积网络（TCN）、膨胀卷积网络和基于Transformer的变体。由此产生的消融研究阐明了时序建模选择对多模态融合性能的影响，并在所研究的仿真条件下提供了工程指导。

数据集采集与预处理

本研究开发了一个深度学习模型，用于从微波传感数据（包括原始时域波形和重建的共焦图像）中识别脑出血。由于真实患者的微波神经影像数据仍然有限且难以跨机构和采集硬件标准化，因此采用了基于有限元法的高保真仿真框架来生成受控且多样的数据集。仿真结合了解剖变异性、传播引起的失真和加性噪声，同时保留了空间和时间散射特性。

时域仿真设置

构建了一个时域电磁模型，使用有限元法模拟人头部内的波传播。将一个异质颅脑体模置于一个由12个相同元件组成的圆形天线阵列中心，这些元件均匀分布在半径为10厘米的圆上。体模与天线阵列之间的空间填充了相对介电常数ε_r=45、电导率σ=0.5 S/m的均匀耦合介质，以确保良好的波穿透和阻抗匹配。仿真几何布局如图1所示。图(a)显示了包括圆形天线阵列、耦合介质（浅蓝色）和代表性出血区域（红色椭圆）的几何布局。图(b)展示了天线平面上相对介电常数分布的横截面图。每个天线发射一个由公式(1)定义的微分高斯脉冲。其中τ=0.4 ns，t₀=1.2 ns。仿真以0.03 ns的时间步长和9 ns的总持续时间进行，为每个波形产生300个时间样本。在每次仿真运行中，天线依次激发，一个天线作为发射器，其余天线作为接收器，产生一个完整的时域信号矩阵S∈R^12×12×300，其中对角线元素为零向量，且排除了自传输。每个元素S_{i, j}表示当天线i发射时在天线j处接收到的时域波形。模拟了三种脑部状况：无病灶的正常大脑、有一个局部出血区域的大脑、有两个空间分离出血的大脑。为增强变异性，每个头模和出血配置实例都进行了随机旋转、变形和缩放，并引入加性高斯噪声以达到5 dB的信噪比（SNR）。

自适应共焦微波成像

全波求解器是三维的，而成像是在天线平面Ω={(x, y, z₀)}上进行的。在相同的几何和材料中进行了无病灶的背景前向仿真，以表征在Ω上的发射到像素的传播。如图2所示，微波脑图像数据集涵盖了与正常、单出血和双出血病例相对应的三个代表性类别。为了空间定位散射响应，将自适应共焦微波成像方法应用于时域数据。该成像过程利用了对入射电场分布的先验知识来增强聚焦并抑制背景噪声。对于每个发射器i和像素r=(x, y, z₀)∈Ω，令e_i(r, t_n)表示从发射天线i到位置r的、在t_n时刻的入射电场（通过背景仿真获得）。接收器j在r处感知的散射信号s_{i, j}(t)被时间反转并与e_i(r, t)进行互相关，然后跨所有发射器-接收器对(i, j)进行相干求和，形成像素r处的强度值I(r)。自适应权重w_{i, j}(r)正比于|e_i(r)|，这增强了来自高照明强度区域的贡献，从而改善了对真实散射体的聚焦。最终的自适应共焦图像被归一化并重新采样为128×128像素的灰度图，用作后续深度学习的输入。

双通道多输入神经网络架构

所提出的网络旨在融合来自时域波形和ACMI图像的互补信息。它包含两个独立的编码分支，随后进行特征融合和分类。

图像编码分支

图像分支以128×128的ACMI图像作为输入。主干网络采用在ImageNet上预训练的ResNet-18模型，移除了其全连接分类层。ResNet-18的卷积层用于提取高层次的空间特征。其输出被展平并通过一个具有512个单元的全连接层，生成最终的图像特征向量f_img∈R⁵¹²。

波形编码分支

波形分支处理原始的时域信号矩阵S∈R^12×12×300。由于对角线元素为零，有效输入维度为12×11×300（12个发射器，每个对应11个接收器，300个时间点）。该信号被重塑为一个132×300的矩阵（12×11=132个通道）。编码器采用一维卷积神经网络与长短期记忆网络（1D CNN-LSTM）的混合架构。首先，三个一维卷积层（滤波器数量分别为64、128、256，核大小为7，步长为2）与批量归一化（BatchNorm）和修正线性单元（ReLU）激活函数依次应用，以提取局部时间模式并降低时间维度。然后，将输出重塑并输入到一个双向LSTM层，该层具有128个隐藏单元，用于捕获长期时间依赖关系。LSTM最后一个时间步的隐藏状态被连接并通过一个具有512个单元的全连接层，生成最终的波形特征向量f_wav∈R⁵¹²。研究还系统评估了其他时序编码器，包括时序卷积网络（TCN）、膨胀卷积和Transformer，以在统一框架内比较它们对多模态性能的影响。

特征融合与分类

来自两个分支的特征向量f_img和f_wav通过拼接进行融合，形成一个1024维的联合特征向量f_fusion= [f_img; f_wav]。然后，该融合特征通过两个全连接层（维度分别为256和3）进行处理，最后通过一个softmax层输出三个类别的概率分布：正常、单出血、双出血。网络使用交叉熵损失函数进行训练，并采用Adam优化器。

性能评估与消融实验

在高保真仿真数据集上对所提多模态模型进行了评估。数据集包含3000个样本（每类1000个），按7:2:1的比例划分为训练集、验证集和测试集。实验结果表明，所提出的多模态融合模型在测试集上达到了最高的分类准确率（如95.2%），显著优于仅使用图像模态（90.1%）或仅使用波形模态（88.7%）的基线模型，也优于传统的微波成像处理流程后接分类器的方法。这验证了跨模态特征融合的有效性。消融研究进一步探讨了不同时序编码器的影响。在测试的编码器中，1D CNN-LSTM在平衡性能和计算效率方面表现最佳，TCN和膨胀卷积也取得了有竞争力的结果，而基于Transformer的编码器虽然捕获了长程依赖，但需要更多的数据来避免过拟合。研究还分析了模型对噪声的鲁棒性，结果表明多模态模型在较低信噪比下比单模态模型具有更稳定的性能。

讨论与未来方向

多模态学习通过整合时域波形中丰富的散射物理信息和ACMI图像中增强的空间定位信息，有效提升了对出血性脑卒中的微波识别能力。这种物理信息化的框架为在设备校准误差、个体解剖变异和噪声存在下的鲁棒分类提供了新途径。然而，本研究目前依赖于仿真数据。未来的工作需要在真实患者数据上验证模型的泛化能力，并探索从仿真到实际测量的领域自适应技术。此外，可以研究更先进的融合策略（如注意力机制）和纳入更多模态（如频率域散射参数），以进一步提升性能。在工程实现上，该框架支持开发便携、低成本的微波脑卒中快速筛查设备，用于院前急救和床旁监测，具有重要的临床转化潜力。

结论

本研究提出了一个用于微波出血性脑卒中识别的物理信息多模态深度学习框架。通过构建高保真仿真数据集和设计双通道多输入神经网络，实现了时域波形与自适应共焦微波图像的特征级融合。系统的性能评估和消融实验表明，多模态融合显著提高了识别准确性和鲁棒性，优于单模态方法和传统流程。对不同时序编码器的比较为工程应用提供了指导。该工作为开发基于微波成像的快速、无创脑卒中评估工具奠定了基础，并指出了未来在真实数据验证、先进融合策略和临床部署方面的研究方向。