编辑推荐：
本文系统探讨了在高光谱成像（HSI）辅助的脑肿瘤术中检测中，如何利用RGB图像的高空间分辨率生成皮质与血管伪标签，并通过跨模态迁移学习策略，显著提升对肿瘤组织的区分能力，有效解决了传统方法因高血管化导致的肿瘤与血管误分类难题，为实时术中引导提供了新的技术路径。
引言：脑肿瘤检测的挑战与新机遇
精确的术中脑肿瘤检测是神经外科手术成功的关键。计算机辅助诊断（CAD）结合机器学习（ML）与深度学习（DL）技术，特别是新兴的高光谱成像（HSI），为此提供了非侵入性的解决方案。HSI能捕获超越可见光范围的光谱信息，为区分大脑皮质中的不同组织提供了独特的数据。然而，基于深度学习的神经网络（NN）方法在区分恶性肿瘤与高血管化结构（如血管）时常常遇到困难，这主要归因于肿瘤组织通常伴随的高血管化特性，以及医学图像标注数据稀缺的普遍问题。
方法：一种两阶段分割策略
为了解决上述挑战，本研究提出了一种相对未被深入探索的两阶段分割方法。该方法将复杂的脑组织分割问题分解为两个独立任务：
- 1.
大脑皮质表面及其血管的分割：此任务旨在识别人类肉眼易于辨别的形态学结构，如脑表面边界和血管。
- 2.
被识别为脑实质区域内的生物组织分割：此任务侧重于利用健康组织与肿瘤组织之间光谱特征的差异进行区分。
本研究重点解决了第一个任务，其核心流程如文中图2所示。该方法利用从西班牙马德里12 de Octubre大学医院活体脑肿瘤手术中获取的HSI和RGB图像。关键的创新在于一个伪标签生成模块，该模块利用RGB图像的高分辨率，在人工干预最小化的前提下，生成了皮质和血管的伪标签。这些伪标签支持一种多模态训练策略，该策略利用两个成像域（RGB和HSI）的信息，训练出一个能够分割开颅部位及其血管的模型。
多模态训练与模型架构
训练流程包含三个步骤（如图7所示）：
- 1.
编码器预训练：使用从RGB图像中提取的、标注有脑组织正例和周围组织负例的图像块，以监督对比学习的方式预训练编码器，使其能区分皮质组织与非皮质组织。
- 2.
RGB域训练：使用生成的皮质伪标签、血管伪标签以及提取的脑表面轮廓信息，在RGB数据集上训练编码器-解码器架构的完整模型。损失函数结合了二元交叉熵（BCE）和Dice相似系数（DSC）损失，并加入了轮廓损失等正则化项。
- 3.
HSI微调与适配：将预训练好的RGB模型迁移到HSI域。首先，通过一个专门的HSI词干网络层来降低HSI立方体的光谱维度（25个波段），并使其适应RGB编码器的输入。然后，利用经过预处理（如形态学闭操作以增加标注密度）的HSI地面实况标注以及血管伪标签，对整个网络（包括HSI词干、编码器和解码器）进行微调。
所使用的神经网络采用了编码器-解码器架构。编码器基于轻量级ResNet构建，解码器则结合了来自编码器各阶段的跳跃连接。网络最终输出两个独立的、非互斥的二元概率图：皮质掩膜和血管掩膜。
数据采集与处理
研究数据选自SLIMBRAIN数据库，包含67名患者的图像。HSI由一款快照式高光谱相机采集，提供25个波段（665-960 nm）的数据。RGB图像则由智能手机或Intel L515 LiDAR的RGB传感器采集。HSI数据经过了白参考和暗参考校准以及光谱校正。HSI的地面实况由神经外科医生使用半自动工具进行稀疏标注，包含健康组织、肿瘤组织、血管和硬脑膜四类。RGB图像则通过一种简化的、基于图像块的手动标注流程来大致勾勒脑表面区域。
伪标签生成：弥补标注的不足
这是方法的核心环节，旨在为RGB和HSI域提供监督信号：
- •
RGB脑皮质标注细化：基于手动标注的块，通过假设（皮质组织比血管组织亮）和K-means聚类，将初始标注区域自动扩展至更接近真实的脑皮质边界。
- •
RGB脑表面轮廓近似：对细化后的皮质掩膜，利用Canny边缘检测和SLIC超像素算法，提取其边界附近的强轮廓，作为训练时的轮廓监督信号。
- •
皮质血管伪标签生成：主要基于Ricci和Perfetti提出的线性算子方法。该方法假设血管组织颜色较深，通过将图像反相后与一组不同朝向的线性核进行卷积，来检测管状结构，从而在HSI和RGB图像上生成血管的伪标签。
- •
HSI地面实况增密与背景补充：对稀疏的HSI医生标注进行形态学闭操作以增加标注像素数量。同时，通过聚类选择与脑组织最不相似的区域作为背景样本，以平衡类别。
结果整合与肿瘤检测优化
本方法的目标是优化任何现有HSI组织分割器的输出。最终的优化分割图通过概率融合实现（图2中的“合并概率”模块）：
- 1.
完全信任由训练好的HSI ResNet模型产生的皮质分割和血管分割结果。
- 2.
将这两个掩膜应用于组织分割图（由其他HSI分割网络产生）。只有那些位于皮质掩膜内且未被血管掩膜覆盖的像素，才被考虑为潜在的肿瘤样本。
- 3.
对于这些潜在肿瘤像素，优先采纳组织分割器将其判断为“健康”的标准（因为文献表明现有算法对健康像素的检测灵敏度较高）。因此，未被分类为健康的像素，将通过排除法被重新考虑并归为肿瘤类。
这一策略巧妙地将原本需要区分肿瘤、血管、硬脑膜的多分类问题，简化为了在皮质区域内区分“健康”与“非健康”组织的二分类问题，同时仍能产生最终的多类分割图。
结论与贡献
实验结果表明，该方法能将肿瘤类别的F1分数最高提升15.48%，同时以92.08%的平均DSC分割大脑皮质，并在HSI数据集中准确检测出95.42%的已标注血管样本。本研究的主要贡献可总结为：
- •
提出了一种校正非健康误分类像素的策略，有效提升了任意HSI分割器的肿瘤检测能力。
- •
提出了一种基于不完全标注的RGB-HSI多模态训练方法，能够精确分割脑实质及其血管。
- •
建议将HSI-NIR图像源与RGB图像模态互补使用，作为通过所提误分类校正策略改善脑肿瘤检测的一个促进因素。
这项工作为在标注数据有限的条件下，利用多模态信息提升脑肿瘤术中HSI检测的准确性和鲁棒性提供了新的思路和实践方案。
