高光谱成像系统：深度学习机载高光谱影像树种分类研究

传统的树种识别主要依靠人工实地踏勘，费时费力。遥感技术的快速发展弥补了人工调查方法的不足，与其他数据源相比，机载高光谱影像具有丰富的光谱信息和空间信息，能探测到不同树种间细微的差异，可实现高精度的树种识别。

基于

一、引言

树种识别是森林资源监测的重要内容之一，及时准确地获取树种信息是可持续森林管理和资源评估的基础。传统的树种识别主要依靠人工实地踏勘，费时费力。遥感技术的快速发展弥补了人工调查方法的不足，与其他数据源相比，机载高光谱影像具有丰富的光谱信息和空间信息，能探测到不同树种间细微的差异，可实现高精度的树种识别。传统的高光谱图像分类算法(如支持向量机、随机森林)需要提前对特征进行选择，会造成信息损失并降低分类精度。深度学习提供一种端到端的学习范式，可以自主地从大量数据中学习复杂非线性特征，避免了传统算法提取特征的复杂性和局限性。本文利用机载高光谱影像和深度学习方法对三个研究区中的树种进行分类研究。

二、研究区概况

铁岗水库位于中国广东省深圳市宝安区东南部(22°36′30″N，113°54′30″E)，地理位置如图1所示。该地区属亚热带季风气候，气候温和，光照充足，雨量丰沛。多年平均气温 21.7℃，平均降水量 1664mm。平均海拔高度为23-76m。铁岗水库库区的自然地带性植被为季风常绿阔叶林，现存植被以人工次生林和人工林为主，在局部地区保存少量的次生灌木丛和湿地草甸，主要树种有水松、樟树、小叶榕、侧柏、红锥木、桉树和高山榕等。湿地草甸主要由乔本科和莎草科构成。本研究选择铁岗水库内一块森林样地作为研究区域，区域范围如图1红框标注所示。

图1 铁岗水库研究区位置概况图

2.1数据获取

高光谱影像于2022年8月16日在晴朗无云的条件下获取。本研究利用某研究院自主集成的无人机高光谱系统对研究区进行数据采集。高光谱系统搭载在四旋翼无人机上，由高光谱成像仪、IMU和GPS三大部分组成，具备体积小、重量轻、灵活机动、实时性强等优势。高光谱传感器是一种推扫式扫描仪，在400-1000nm光谱范围内记录112个波段，光谱分辨率5nm。表2-2总结了高光谱传感器的详细参数。飞行高度设置为离地面约100m，空间分辨率为0.1m，飞行速度设置为4m/s。在飞行期间，共产生了7条航带，旁向重叠度为30%地面实测数据在飞行活动结束后进行集，共记录了7种树木。此外，本研究还利用高分辨率影像图进行目视解译，进一步扩充实地样本。具体的地面真实标签情况如表1示。

表1 铁岗水库数据集的地面真实标签情况。

2.2数据处理

利用无人机高光谱系统获取的数据有原始高光谱数据、POS信息数据和时间同步数据。原始数据无法直接使用，需进行一定的数据预处理，如异常值去除、辐射定标、几何校正、大气校正等。流程图如图2所示。

图 2 高光谱数据预处理流程图

（1）去除异常值

利用无人机高光谱系统采集图像的过程中，会在某些像元中产生异常值，如图3所示，在某个波段处DN值会突然升高或突然降低。为此，需要通过算法对这些异常值进行去除。观察异常值可发现其有两大特点：①不是中位数；②与周围的DN值相差较大。本文根据异常值的特点提出了一种算法对其进行去除。

以某一含有异常值的像元为例，去除的主要步骤如下：

①依次遍历波段值，取其左右像素组成一个列表[xi-1,xi,xi+1]

②若该值为中位数，则继续遍历，若该值不是中位数，则计算与左右像素的相差值。

③如果Mean(xi- xi-1+ xi- xi+1)＞n´ xi+1- xi-1（其中n为阈值），则判断该值为异常值，使用xi-1和xi+1的平均值来替代。

本文通过不同的算法对某一植被像元进行异常值去除，结果如图3所示。’

图 3 异常值去除

可以看出，中值滤波虽然可以对异常值进行去除，但该算法会更改其他光谱值。SG滤波对异常值起到平滑作用，并不能完全去除异常值。MAD算法相比前两种算法来说效果更好，但会将非异常值判断为异常值。与其他算法相比，本文提出的去除算法效果更好，在去除异常值的过程中，不会更改其他非异常值。本研究利用该算法对整幅图像进行处理，去除光谱曲线中的异常值。

（2）辐射定标

高光谱传感器记录的是数字量化值（DN值），其无单位，是非物理量。为此，需要进行辐射定标来将图像的DN值转化为辐射亮度值或者反射率值等物理量。本文利用高光谱传感器厂商提供的定标公式和定标文件对图像进行辐射定标。定标公式如式(9)所示

其中：L是传感器测得地面目标的总辐射亮度，单位为mW/(cm2×sr× nm)；calibration_gain为辐射定标系数，由传感器厂商提供，某一位置的定标系数如图3(a)所示；

图 3 辐射定标参数

image_DN为传感器记录的原始DN值；dark_DN为对应像元的暗电流DN值，在采集高光谱数据时会同步记录暗电流数据，某一位置的暗电流DN值如图3(b)所示；integration_time为积分时间。图4展示了植被像元辐射定标前后的光谱曲线差异。

图 4 辐射定标

（3）几何校正

利用无人机高光谱系统获取的原始数据不包含地理坐标信息，且在飞行过程中，由于无人机的姿态（俯仰、翻滚、偏航）、高度、速度和传感器自身特性等因素，会造成高光谱原始影像中地物形状扭曲和反向。因此需要对图像进行几何校正。本研究首先通过无人机平台搭载的GPS和IMU解算出航迹坐标信息，然后利用航迹坐标信息、高精度DEM数据、时间同步文件构建模型，为高光谱影像赋予地理坐标信息并进行几何校正。第7航带几何校正前后的影像如图5。

图 5 几何校正

（4）大气校正

在数据采集的过程中，高光谱传感器最终测得的地面目标的总辐射亮度并不是地表真实反射率的反映，其中包含了由大气吸收，尤其是散射作用造成的辐射量误差。大气校正就是消除这些由大气影响所造成的辐射误差，反演地物真实的表面反射率的过程。本研究利用ENVI软件自带的FlAASH大气校正模块对每一条航带进行大气校正。图6展示了植被像元大气校正前后的光谱曲线差异。

图 6 大气校正

（5）图像掩膜与图像拼接

本文的研究对象是森林树种，但获取的高光谱影像中含有水体、道路等非植被地物。为消除非植被地物对分类结果的影响，本研究首先计算影像的NDVI值，通过设置合适的阈值（如NDVI≥0.5），创建NDVI掩膜；然后将NDVI掩膜应用于高光谱影像中；最后得到只含有植被的高光谱影像图。最后本研究利用ENVI软件中自带的镶嵌模块，对各个航带进行拼接。最终得到的高光谱影像图如图7所示。各树种的光谱曲线差异如图8所示。

图 7 铁岗水库研究区高光谱影像图

图 8 铁岗水库数据集的树种光谱曲线

三、小结

针对铁岗水库数据集，本文提出了一种异常值去除算法，与其他经典去噪算法相比，本文提出的方法效果最好。为避免非植被地物对分类结果的影响，本文分别创建CHM掩膜和NDVI掩膜对TEF数据集和铁岗水库数据集进行处理，得到只包含植被的高光谱影像图。

四、基于改进 Mask R-CNN 的单木分割

4.1 实验过程与结果

4.1.1 数据集标注与划分

本研究将正射影像图作为神经网络的输入。数据集标注的流程如图9所示，由于图像中除树木外，还包含草地、裸地等非树种地物，它们会对数据的标注和模型的训练造成干扰，如图10(a)中红框部分，其实际为草地，但在进行标注过程中，容易将其判别为树木。

图 9 数据集标注流程图

图 10 数据集标注

为解决这一问题，本文利用CHM数据生成高度掩膜(CHM≥5)，去除草地、裸地等地物，掩膜后的结果如图10(b)所示，可以看到图像中只保留了树木。然后在图像中随机选择大小为512×512的子图像制作数据集，其中选择100张子图像作为训练集，20张子图像作为测试集。最后利用图像标注工具对子图像进行实例标注。然而，由于本研究使用的数据是具有地理坐标信息的RGB图像(TIF格式)，标注工具并不支持这种格式的读取。因此在数据集制作的过程中，本文不仅保存了TIF格的图像，还保存了对应的PNG格式的图像。利用标注工具对PNG格式的图像进行实例标注，之后将获得的标注结果与TIF图像进行融合，完成数据集的标注。某一图像的标注结果如图10(c)所示。

4.1.2实验结果

本文在特征提取部分选择ResNet50作为主干网络，并利用MaskR-CNN在大规模数据集上预先训练好的模型权重进行训练。本文从输入数据的类型和是否在网络中加入注意力机制两个方面出发，设计了六种不同的分割方案。在网络中加入注意力机制时，有三种方案，分别针对输入数据为RGB、CHM以及RGB+CHM的情况。同样地，当网络中不包含注意力机制时，也有三种方案。六种方案获得的分割结果如表2所示，

表 2 不同设计方案下获得的单木分割结果

可以看出，当输入数据为RGB且在网络中加入SimAM注意力机制时，获得的分割性能最好，AP值达到41.5%，其中IoU阈值为0.5时（即AP50），精度最高，有74.5%。除了输入数据为CHM的情况外，其他所有模型对中目标的分割能力最好，APM值高于APS值和APL值，如模型RGB+SimAM的APM值为47.6%，高于APS值（32.4%）和APL值（33.6%）10多个百分点。当在网络中加入SimAM注意力机制时，分割性能均得到提升。其中，当输入数据为RGB且网络中不加入注意力机制时，获得的AP50值为72.3%，加入注意力机制后，AP50值提高到74.5%，增加了2.2个百分点。这证明了SimAM注意力机制的有效性。模型获得的分割效果如图11所示，

 

图 11单木分割结果

可以看出，网络能够准确地识别并分割出图像中的树木，但也存在一定的问题，比如欠分割的情况。如图11(c)所示的预测掩膜图，红框部分应为多棵树，但模型将其分割为同一棵树。此外，模型对图像边缘部分的分割效果不太良好，如图11(c)中的蓝框部分，其不是一棵完整的树，模型将其分割为一棵树。

续~~

推荐：

便携式高光谱成像系统iSpecHyper-VS1000

专门用于公安刑侦、物证鉴定、医学医疗、精准农业、矿物地质勘探等领域的最新产品，主要优势具有体积小、帧率高、高光谱分辨率高、高像质等性价比特点采用了透射光栅内推扫原理高光谱成像，系统集成高性能数据采集与分析处理系统，高速USB3.0接口传输，全靶面高成像质量光学设计，物镜接口为标准C-Mount，可根据用户需求更换物镜。

审核编辑 黄宇