杨京辉指导本科生在高光谱图像智能分类方面发表新进展

2022-08-23     发布：信息工程学院    点击：625次

近年来，基于深度学习的高光谱图像（Hyperspectral Image，HSI）分类成为HSI分类任务中主要实现方式之一，其中基于卷积神经网络或注意力机制的分类网络占据了重要地位。卷积神经网络感受野能够有效提取HSI空间维度的局部特征，但对空间维度的全局特征和光谱维度的序列特征捕捉能力欠佳；基于注意力机制如Transformer结构的网络通常具有较好的全局特征捕捉能力，但对局部特征的分辨能力相对较弱。

如何有效结合不同方式的优势，取得更加精确的智能分类效果，是HSI分类研究中的一个热点问题。

针对上述问题，在杨京辉老师指导下，我院2019级本科生杨理明、杨怡航以共同一作的身份合作提出了一种针对HSI分类的基于Convolution–Transformer的融合网络，即FusionNet，其图形摘要如图1所示。

该工作的主要创新和贡献如下：

1、提出了一种针对HSI分类的新型Convolution–Transformer融合网络，即FusionNet。基于Convolution在局部特征提取中的优势，以及Transformer在远程上下文关系提取中的能力，提出了FusionNet。利用Convolution模块提取HSI局部细粒度特征，利用Transformer模块提取HSI光谱-空间维度的全局特征和光谱维度的长距离关系，将Convolution和Transformer融合形成优势互补，达到更好的分类结果。

2、在FusionNet中，提出了一种Convolution–Transformer混合融合模式，该模式基于串行和并行混合的双支融合机制。局部分支进行基于Convolution的局部特征提取，全局分支进行基于Convolution–Transformer串行融合的全局特征提取。局部分支和全局分支再通过双支并行融合实现不同分支之间的信息融合和交换，最终实现对局部和全局特征的有效提取。

FusionNet在真实的HSI数据集上均取得了不错的分类效果，为未来的进一步研究提供了参考。

图1  FusionNet图形摘要

上述研究成果发表在国际权威刊物《Remote Sensing》上，2021年IF=5.349。

引文格式：Yang, L.; Yang, Y.; Yang, J. *; Zhao, N.; Wu, L.; Wang, L.; Wang, T. FusionNet: A Convolution–Transformer Fusion Network for Hyperspectral Image Classification. Remote Sens. 2022, 14, 4066.

全文链接：https://doi.org/10.3390/rs14164066