杨京辉/覃佳：基于多路多尺度孪生网络的小样本高光谱图像智能分类方法

2023-09-11     发布：信息工程学院    点击：59次

深度学习在高光谱图像分类中展现出不错的性能，但是现有分类网络往往需要较多的标记样本才能较好地完成分类任务。然而，通常在真实的高光谱图像分类场景中，获取标记样本是一项耗时且费力的任务，导致数据短缺成为高光谱图像分类中面临的一项难题。因此，如何在小样本的情况下，搭建适合的深度学习网络模型来获取更好的分类效果，成为高光谱图像分类的一个研究热点。

针对上述问题，在杨京辉副教授指导下，我院硕士研究生覃佳提出了一种基于多路多尺度孪生网络的小样本高光谱图像智能分类方法，其图形摘要如图1所示。

该工作的主要创新和贡献如下：

(1)提出了一种基于空-谱特征多路多尺度孪生网络的小样本高光谱图像智能分类方法(A multipath and multiscale Siamese network based on spatial-spectral features for few-shot hyperspectral image classification, MMSN)。该方法基于孪生网络框架有效地提取和利用了高光谱图像的空间-光谱特征，并在小样本的情况下获得了较好的分类效果。

(2)设计了基于膨胀卷积和余弦相似度相合的空间注意力机制(Dilatation-Cosine Attention Module, DCAM)。通过膨胀卷积在谱维度扩展了感受野，利用余弦相似度量化了像素在空间维度的重要程度，实现了邻域块中像素的空间-光谱权重综合衡量。

(3)构造了残差-密集混合多路谱特征提取模块(Residual-Dense Hybrid Multi-path, RDHM)。通过多路特征提取在保留原有特征的同时不断挖掘新特征，有效地传播并利用了不同层级的特征，并通过局部特征和全局特征的综合提取，增强了特征的表达能力。

(4)搭建了多核深度特征提取模块(Multikernel Depth Feature Extraction, MDFE)来挖掘图像的深度语义特征。通过对光谱块进行多核多尺度卷积及层级跳跃连接，来更好地保留和利用图像的语义信息，提高了网络的捕获细节的能力。

图1  MMSN图形摘要

上述研究成果发表在国际权威刊物《Remote Sensing》上，2022年IF=5.0。

引文格式：Yang, J.*; Qin, J.; Qian, J.; Li, A.; Wang, L. A Multipath and Multiscale Siamese Network Based on Spatial-Spectral Features for Few-Shot Hyperspectral Image Classification. Remote Sens. 2023, 15, 4391.

全文链接：https://doi.org/10.3390/rs15184391