采用单片超构表面与元注意力网络实现快照式近红外光谱成像

日前，北京理工大学王涌天教授、黄玲玲教授团队联合张军院士、边丽蘅教授团队，采用单片超构表面与元注意力网络实现快照式近红外光谱成像。该方法充分利用C4对称超构表面结构单元丰富的光谱编码随机性以及结构单元之间的低相关系数的特点，结合基于元注意力网络先验的迭代去噪重建算法的优异性能，实现了具有高光谱分辨率和低串扰的近红外光谱快照成像。相关成果以“Meta-attention network based spectral reconstruction with snapshot near-infrared metasurface”为题发表于Advanced Materials期刊。

图1 基于近红外超构表面的快照式光谱重构

光谱信息作为不同物质的光学指纹，能够在多种场景下用于物质的鉴定与识别，在遥感探测、智慧农业、生物监测、化学分析等多个领域取得了广泛的应用。然而，现有的光谱成像系统多采用窄带滤光片或者棱镜、光栅等色散元件实现不同波长信息的提取。采用窄带滤光片，已发展出分焦面（DoFP）和分时（DoT）探测两种方式。采用DoFP方式时，光谱图像的空间分辨率与光谱分辨率互相限制；而对于DoT方式，光谱成像的时间分辨率受限，难以适用于高速运动场景的准确获取。对于编码孔径快照式光谱成像（CASSI）系统，相对庞大的体积限制了其与移动设备的集成。

近年来，许多研究者采用超构表面、光子晶体、纳米线、二维材料等一系列光学材料，实现了小型化、集成化的快照式光谱成像系统。然而，此前的研究大多集中于可见光波段，针对近红外波段光谱成像的研究还有待进一步深入。此外，重构算法在快照式光谱系统中也扮演了极为关键的角色，而目前的算法在重建性能和真实场景泛化性上，尤其是对于基于超构表面的成像系统，仍存在较大挑战。

为了在近红外波段实现高质量的快照式光谱成像，上述团队设计基于元注意力网络的近红外超构表面快照式光谱成像系统。研究人员设计出25种不同的超构表面结构单元对入射光谱进行调制，并提出一种基于元注意力网络先验的迭代去噪重构算法对单次拍摄得到的灰度图像进行重构，在算法重构的过程中，充分利用了超构表面结构单元规则的空间排布方式与随机的光谱编码过程，最终实现了光谱图像的准确恢复。

超构表面结构单元的设计细节如图2所示。为了提高对近红外波段能量的利用率，研究团队选取非晶硅作为纳米天线的材料，共设计出25种具有C4对称性质的结构单元，每种结构单元具有相同的周期（1.5 μm）与高度（600 nm），且每个结构单元被划分为边长相同（100 nm）的正方形区域，可在不同区域填充非晶硅纳米天线，不同结构单元的区别仅在于纳米天线的空间排布不同。考虑结构的C4对称性，在每个结构单元内共可以设计出243种不同的纳米天线排布方式，大大拓展了结构设计自由度。纳米天线丰富的空间排布方式与互相之间的共振作用使得结构单元的透射光谱曲线上具有随机而丰富的共振峰，并且使得不同结构单元透射光谱之间的相关性较低，本研究中25种结构的相关系数平均值仅为0.13，从而为充分调制入射光谱并实现准确重构提供可能性。

图2 超构表面结构单元的设计与表征测试。(a)25种结构单元；(b)图(a)中第5行、第3列结构单元斜视图；(c)超构表面样品的光学显微镜测试结构；(d)结构单元透射光谱的相关系数矩阵；(e)3种结构单元的SEM测试图及透射光谱标定曲线。

为了充分利用超构表面的光谱调制能力并提高重构算法的普适性，研究团队提出了一种元注意力网络先验的迭代去噪重构算法(MAN-IDR)，算法框架如图3所示。由于所设计的超构表面具有马赛克形式的规则结构单元排布方式，算法对局部结构的过度关注会容易导致伪影的出现，研究团队引入了空间光谱交叉注意(SSCA)模块来尽量避免这一负面效应；此外，为了将混叠的光谱信息进行解耦并减小不同光谱通道之间的串扰，研究团队引入了元交叉注意(MCA)模块，以实现光谱维度上的准确重构。进而构建基于SSCA和MCA的多尺度编解码网络，称为元注意力网络（MAN）。MAN网络作为去噪重建先验项，以端到端方式交替求解深度先验项和线性投影项，最终实现高保真度和泛化性的高光谱图像重建。实验证明元注意力网络对于基于超构表面光谱解耦和纹理保留具有良好性能，欧几里德投影算子对优化方向起到约束作用提升算法泛化性。

图3 基于元注意力网络先验的迭代去噪重构算法(MAN-IDR)

采用上述超构表面与重构算法，团队搭建了基于近红外超构表面的快照式光谱成像系统，并验证了其光谱成像性能，结果如图4所示。由图4可见，通过CMOS拍摄所得图像均为灰度图，仅能体现图像的强度信息，而无法体现出不同通道的波长信息，而经过算法的重构，光谱图像的波长维度得以体现出来。并且重构图像具有清晰的纹理与较小的伪影，展现出重构算法良好的细节恢复能力；此外，研究者还从重构图像中提取光谱曲线并与真值进行对比，两组实验的光谱曲线保真度平均值分别为92.26%和91.40%，表明重构结果具有较高的波长准确性。

图4 具有复杂纹理的单色光谱图像重构结果

研究团队还测试了系统的光谱曲线恢复能力，结果如图5所示。针对准单色光，重构光谱曲线平均保真度达到98.26%，且中心波长准确性达到0.05 nm，半高全宽准确性达到0.13 nm。针对形状复杂的宽带光谱，也实现了准确重构。

图5 光谱曲线重构结果

上述研究团队提出的基于元注意力网络的近红外超构表面快照式光谱成像方法，通过设计相关系数较低的超构表面结构单元以及普适性较高的光谱重构算法，实现了高保真度、低串扰的光谱图像重构，并能准确区分出空间重叠的光谱图像，为区分、探测不同成分的近红外物质信息提供可能。通过将所设计的近红外超构表面与手机、无人机等可移动设备集成，有望在未来实现便携式、小型化的光谱成像移动设备，为空间探测、智慧医疗、机器视觉等领域提供助力。

论文信息：
https://doi.org/10.1002/adma.202313357

 

 

 

审核编辑：刘清