基于空时低频随机光谱编码的实时高清高光谱内镜技术及其生物医学应用

《Advanced Science》：Real-Time High-Definition Hyperspectral Endoscopy via Spatial-Temporal Low-Frequency-Stochastic Spectral Encoding

本文提出了一种新型高光谱内镜系统HeldSee，通过空时低频随机光谱编码与编码引导光谱注意力网络（ESANet），实现了20 Hz实时帧率、高清分辨率（全像素）及67个光谱通道（420–750 nm）的高质量高光谱成像（HSI）。该系统能有效克服活体组织运动伪影，清晰捕捉细微结构（如37 μm毛细血管），并成功应用于光动力疗法（PDT）和肝缺血等快速生理过程的动态监测，为微创诊断与治疗提供了低成本、易临床转化的解决方案。

　　

摘要

高光谱内镜（Hyperspectral Endoscopy）能够同时获取活体组织的结构信息与成分信息，在微创生理病理状态评估中具有重要潜力。然而，现有高光谱内镜系统存在帧率低、运动伪影严重等问题，限制了其在动态组织成像中的应用。本研究提出了一种名为HeldSee的高光谱内镜系统，通过空时低频随机光谱编码技术与编码引导光谱注意力网络（ESANet）实现低延迟的高光谱图像重建。该系统具备实时帧率（20 Hz）、高清分辨率（全像素）及67个光谱通道（420–750 nm），能够清晰捕捉活体组织中直径约37 μm的毛细血管，揭示不同器官的光谱特征，并成功监测光动力疗法（PDT）和肝缺血过程中的快速成分变化。该系统硬件改动小、成本低，易于与现有内镜系统集成，具备良好的临床转化前景。

1 引言

漫反射高光谱成像能够无损获取组织结构和成分的空间细节信息，在血红蛋白定量、肿瘤边界评估等领域已有广泛应用。然而，传统高光谱成像方法（如空间/光谱扫描、分焦平面传感器等）在腔内成像中面临空间受限、组织持续运动、空间特征跨尺度等挑战，导致成像速度慢、运动伪影严重，难以捕捉血管闭塞或再通等快速生理过程。压缩高光谱成像方法通常需要大量编码次数（≥16），存在硬件复杂度高、空间分辨率受限等问题。因此，开发一种帧率和空间分辨率与标准白光内镜（WLE）相当的高光谱内镜系统具有重要临床意义。

本研究提出的HeldSee系统基于空时低频随机滤波结合ESANet算法，实现了实时高清高光谱成像。该系统仅需三次时间调制，即可在活体运动中稳定获取高质量高光谱数据，并支持多种功能图像（如WLE、窄带内镜NBE）及成分图谱的同步生成，为精准诊断与治疗指导提供有力工具。

2 HeldSee原理

HeldSee系统由光谱可调制的光源与配备彩色成像传感器的内镜组成。光源依次产生三种低频随机光谱的照明（图1a），实现时间-光谱编码；成像传感器端的Bayer滤光片则实现空间-光谱编码。低频随机滤波器的设计基于组织漫反射光谱以低频成分为主的特性，其透射光谱具有宽波段、低相关性特点，傅里叶变换能量集中于低频区域（图1c–e）。系统编码函数为照明端滤波器透射光谱与检测端Bayer掩模的乘积（公式2）。与传统随机编码相比，该编码方式在组织光谱主导频段具有更高的编码效率（图1e）。

系统硬件实现中，三种白光LED分别通过低频随机滤波器后，经光纤束合束输出，兼容刚性与柔性内镜结构。相机同步触发采集三张原始图像，由ESANet算法进行低延迟重建。ESANet采用U-Net架构，引入编码引导的光谱注意力模块（E-SAM），通过活体小鼠多器官（肝、脾、肾、胃壁等）数据集训练，在考虑噪声和照明强度波动的情况下实现高精度光谱重建（公式3）。

3 HeldSee性能评估

HeldSee能够准确重建多种器官（胃外壁、胃内壁、肝、肾、脾）的光谱特征，光谱相对绝对误差（RAE）在450–700 nm范围内低于5%（图3a–d）。系统光谱分辨率优于20 nm，可分辨峰值间隔20 nm的双峰。在动态成像方面，HeldSee以20 Hz帧率清晰捕捉小鼠胃壁蠕动中的毛细血管结构，而推扫式高光谱相机则出现严重运动模糊（图4a）。在低照度条件下，HeldSee的信噪比（SNR）达波长扫描方法的近两倍（图4b）。空间分辨率评估显示，HeldSee与标准WLE相当，可分辨USA 1951分辨率板第三组第六单元（周期70 μm），活体毛细血管成像线宽约1.6像素（对应37 μm）（图4c–d）。此外，波长依赖的对比度可反映血管深度信息，浅表毛细血管在短波长（425 nm）对比度最高，深层血管在545 nm对比度更优（图4e）。

4 HeldSee在快速生理过程监测中的应用

HeldSee生成的高光谱数据可基于蒙特卡罗（MC）光传输模型建立查找表，定量解析氧饱和度（sO₂）和相对血容量分布，并同步生成WLE与NBE模拟图像（图5a）。在肝缺血模型中，HeldSee实时监测肝蒂夹闭后sO₂与血容量的空间分布变化，发现夹闭10 s内参数急剧下降，且不同区域变化速度异质（图5f–h）。在光动力疗法（PDT）监测中，系统通过添加激光与陷波滤光片（图6a），在633 nm激光激发下恢复被滤除的光谱信息，生成色彩准确的WLE图像（图6b）。PDT过程中，sO₂与血容量在0.1分钟内即发生显著变化，而NBE图像仅显示轻微形态改变（图6d–f）。值得注意的是，血容量在后期部分恢复，伴血管再通现象，提示HeldSee可捕捉光动力效应的动态细节。

5 讨论

HeldSee通过宽波段、高通量照明与高效编码，在帧率、空间分辨率和信噪比上优于传统窄带探测方法。低频随机编码以较少调制次数（仅3次）实现了优于传统随机编码的光谱重建精度。系统兼容性强，仅需改造外部光源模块，易于临床推广。当前光谱范围（420–750 nm）适用于血红蛋白相关参数分析，若扩展至红外波段可支持水、脂肪等成分检测。未来可通过端到端优化调制函数，针对特定临床任务设计滤波器组合，进一步提升性能。需要注意的是，增加调制次数可能引入照明一致性下降和单帧信噪比降低等问题，需综合权衡。此外，当前网络训练数据集中于小鼠器官，应用于其他组织时需重新适配。

6 结论

HeldSee基于空时低频随机光谱编码与AI解码技术，实现了实时、高清、高精度的活体高光谱内镜成像，在组织形态观察、成分定量分析及快速生理过程监测中展现出显著优势。该系统硬件改动小、成本低，为微创诊断、治疗评估及生物医学研究提供了强有力的工具。