《Optics & Laser Technology》:End-to-End design of bimaterial stitching metasurface for snapshot broadband hyperspectral imaging
编辑推荐:
提出一种双材料缝制元表面结合极化复用的宽光谱瞬态高光谱成像系统,通过SiN和Si纳米鳍结构实现400-1000nm高效相位调制,采用极化多路复用和端到端优化提升重建精度,验证其在文化遗产保护中的应用。
Jiayu Di|Zhenming Yu|Wei Zhang|Yanfeng Liu|Liang Lin|Jingyue Ma|Liming Cheng|Tongshuo Zhang|Ning Zhan|Yu Zhang|Kun Xu
北京邮电大学信息光子学与光通信国家重点实验室,中国北京 100876
摘要
宽带高光谱成像(HSI)能够获取丰富的光谱-空间信息,用于科学分析和文化遗产保护。然而,基于单一材料的超表面紧凑型HSI系统在带宽上存在固有限制,因为大多数材料仅在狭窄的光谱窗口内具有高折射率和低吸收率,这限制了相位覆盖范围和传输性能。在这项工作中,我们提出了一种基于双材料拼接超表面的快照HSI框架,该框架结合了SiN和Si纳米鳍结构,实现了400–1000纳米范围内的高效相位调制。基于这种400–1000纳米的调制,我们采用偏振复用和端到端联合优化技术,实现了高精度的高光谱重建。为了展示所提出的双材料超表面设计的优势,我们与单材料(Si和SiN)和单偏振对应方案进行了对比研究。这种混合Si–SiN结构在400–1000纳米范围内提供了更高的光谱调制多样性和更强的传输性能,从而实现了更高保真度的重建。在我们捕获的室内数据集和公共ICVL数据集上的跨数据集评估证实了该系统的鲁棒性和泛化能力,超出了其训练领域。所提出的方法能够在宽带可见光–近红外光谱范围内重建61个光谱通道的高光谱图像,在PSNR和SSIM方面取得了显著改进。此外,对博物馆手稿的验证展示了宽带HSI的实际应用价值以及我们系统的鲁棒性。这些结果证明了双材料、偏振复用超表面是一种紧凑、高保真度的便携式宽带高光谱成像解决方案。
引言
高光谱成像(HSI)结合了光谱学和数字成像技术,形成了一个三维数据立方体:两个空间维度加上一个光谱维度。它比RGB成像提供了更丰富的信息。每个像素的光谱支持材料识别、细微变化检测和定量分析。对于许多应用领域——包括生物医学[1]、农业[2]、环境监测[3]、自主感知[4]和文化遗产保护[5]——最有信息量的信号位于400至1000纳米的范围内。可见光(VIS)波段(400–700纳米)保留了颜色、对比度和细节,这对于文档记录和可视化至关重要。近红外(NIR)波段(700–1000纳米)增加了对成分和结构的敏感性,例如色素差异、与老化相关的变化以及水分特征,提高了类别区分能力和对光照变化的鲁棒性[6]、[7]。在单个系统中同时捕获这两个波段可以增强分类、光谱解混和跨场景的泛化能力。这种非接触式的快照能力对于脆弱目标特别有益,因为在这些目标中,低光照条件和最短的采集时间至关重要。然而,快照HSI对光学系统提出了更严格的要求:编码器必须在保持光效率的同时提供足够的光谱多样性,并且外形要紧凑。一个能够覆盖400–1000纳米波长范围并满足这些要求的紧凑平台将有助于更广泛的现场应用,包括便携式传感和现场文化遗产数字化。
为此,已经探索了多种硬件策略。基于光栅/棱镜、滤光轮或可调滤光片的传统系统可以提供准确的光谱,但它们体积庞大,通常依赖于耗时的扫描,限制了在动态场景中的使用。快照压缩架构——尤其是编码孔径快照光谱成像(CASSI)——将采集过程简化为单次曝光[8]、[9]、[10]、[11]。然而,大多数CASSI系统仍然仅限于可见光波段的成像。将CASSI扩展到400–1000纳米的光谱范围需要更大更昂贵的光学组件,并且不可避免地会引入额外的光学像差,从而严重降低成像质量。衍射光学元件(DOEs)和计算解码通过相位编码波长依赖的点扩散函数(PSFs)实现了更紧凑的设计[12]、[13]、[14]、[15];然而,仅依赖相位的DOEs限制了编码的灵活性。超表面通过亚波长结构和芯片级集成扩展了对幅度、相位和偏振的控制[14]、[16]、[17]、[18]、[19]、[20]、[21]、[22]、[23]、[24]、[25],但单材料实现受到材料色散和吸收的固有限制。具体来说,高折射率低损耗的条件通常只适用于有限的光谱子带,导致其他区域的相位覆盖不足或传输率低。基于反射或光谱分割的超表面可以实现理想的光谱成像性能;然而,它们往往会在系统集成或成像质量之间做出妥协,使其不适用于需要高精度的应用[25]、[26]、[27]。虽然新兴的混合材料或多层架构为宽带调制提供了有希望的途径,但它们通常需要复杂的制造流程或专用材料,这些材料并不容易获得[28]、[29]。因此,许多演示仅限于可见光或狭窄的近红外范围。这些限制进一步凸显了开发一种能够在400–1000纳米范围内实现高效和多样化调制的芯片级快照高光谱成像架构的重要性。
在这项工作中,我们提出了一种基于双材料拼接超表面的宽带高光谱成像系统。为同时解决带宽覆盖和编码效率的挑战,我们的设计采用了两种互补策略。首先,为了在宽范围的400–1000纳米光谱范围内实现高效调制,我们在单个超表面上集成了SiN和Si纳米鳍的半圆形区域。SiN纳米鳍在可见光波段表现出低吸收和稳定的相位响应,而Si纳米鳍在近红外波段具有强大的调制能力。与传统的单材料超表面不同,后者会遇到效率下降的问题,这种拼接方法确保了400–1000纳米范围内的连续高效相位调制。其次,为了解决将如此宽的光谱压缩到单次曝光中产生的信息瓶颈,我们利用了超表面的偏振敏感响应。通过在正交偏振状态下生成不同的点扩散函数(PSFs),我们有效地将编码测量维度翻倍,而不会牺牲空间分辨率或增加系统体积。因此,双材料结构为宽带传输提供了物理基础,而偏振复用则提供了高保真重建所需的信息容量。此外,该系统采用了一种逆向设计方法,联合优化了前端超表面结构和后端重建网络,从而提高了编码和解码效率。广泛的仿真实验表明,所提出的双材料和偏振辅助的高光谱成像系统能够在单次曝光中重建400–1000纳米范围内的61个光谱通道。与在相同光学配置下的单材料(仅Si和仅SiN)和单偏振基线相比,所提出的设计实现了更高的光谱调制多样性和显著提高的重建精度,在相机数据集上达到了36.07 dB的PSNR和0.963的SSIM,在ICVL数据集上达到了35.11 dB的PSNR和0.904的SSIM[30]。结果表明,与对比方法相比有显著改进,并证实了其在不同数据领域的强大泛化能力。此外,对博物馆手稿的仿真实验表明,重建的VIS–NIR高光谱数据立方体能够有效区分在可见光范围内看起来相同但在近红外区域具有不同光谱响应的两种墨水,强调了宽带高光谱成像及其在文化遗产保护和分析中的潜力。
系统架构和工作流程
如图1所示,所提出的宽带快照高光谱成像(HSI)系统由三个主要组件组成:作为光学编码器的双材料拼接超表面、作为探测器的彩色-偏振相机以及作为数字解码器的基于ResUNet的重建网络[31]。超表面位于相机前方,将入射的高光谱信息编码为依赖于波长和偏振的强度模式
高光谱数据集收集和训练细节
由于缺乏覆盖整个400–1000纳米范围的公开可用室内高光谱数据集,我们使用Specim IQ商用高光谱相机收集了一个专门的数据集。该相机的工作范围为397.32–1003.58纳米,空间分辨率为512 × 512,提供了204个光谱通道,平均采样间隔为2.9–3.1纳米。为了与我们的系统目标带宽对齐,原始光谱被线性插值到400纳米到
结论
在本文中,我们提出了一种基于偏振-材料混合超表面的高光谱成像系统,能够实现宽带(400–1000纳米)光谱重建。该系统在端到端可微分框架内集成了双偏振编码和双材料Si–SiN色散工程,实现了光学和计算模块的高效联合优化。仿真结果表明,所提出的设计在Camera和ICVL数据集上的PSNR分别为36.07 dB和35.11 dB
CRediT作者贡献声明
Jiayu Di:撰写 – 审稿与编辑,撰写 – 原始草稿,软件,方法论,调查,概念化。Zhenming Yu:撰写 – 审稿与编辑,监督,资源,方法论,资金获取,概念化。Wei Zhang:项目管理。Yanfeng Liu:软件,方法论。Liang Lin:软件,方法论。Jingyue Ma:软件,方法论。Liming Cheng:撰写 – 审稿与编辑。Tongshuo Zhang:软件,方法论。Ning Zhan:撰写 – 审稿与编辑。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
致谢
本工作得到了雄安新区科技创新项目(编号2023XAGG0089);国家自然科学基金(编号62522502、62371056);河北省重大科技支撑计划(编号252X1701D);北京Nova计划的支持;深圳市科技计划(KJZD20230923115202006);信息光子学与光通信国家重点实验室基金(编号IPOC2025ZZ02);基础研究