基于双通道GAN的高光谱图像分类算法

毕晓君; 周泽宇

doi:doi:10.3788/AOS201939.1028002

光学学报, 2019, 39 (10): 1028002, 网络出版: 2019-10-17

基于双通道GAN的高光谱图像分类算法下载： 1991次

Hyperspectral Image Classification Algorithm Based on Two-Channel Generative Adversarial Network

论文大纲

毕晓君 ¹周泽宇 ^2,*

作者单位

¹ 中央民族大学信息工程学院, 北京 100081

² 哈尔滨工程大学信息与通信工程学院, 黑龙江哈尔滨 150001

遥感高光谱图像分类空谱联合特征生成式对抗网络 remote sensing hyperspectral image classification spatial-spectral features generative adversarial network

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

高光谱图像分类问题是高光谱遥感图像处理问题中的研究基础,它的主要目的是根据高光谱遥感图像中的光谱信息和空间信息将图像中的每个像元划分为不同的地物类别^[1]。高光谱图像分类技术被广泛应用于环境监测、矿产勘探、**目标识别等领域,然而高光谱图像的高维特性、波段间的高度相关性、光谱混合等使得高光谱图像分类面临着巨大的挑战。因此,高光谱图像分类问题越来越受到学者们的广泛关注^[2-4]。

Abstract

The existing hyperspectral image generative adversarial network(GAN) classification algorithm cannot fully extract spectral and spatial-spectral features, which leads to the degradation of hyperspectral image classification accuracy. To resolve this issue, this study proposes a hyperspectral image classification algorithm based on a two-channel GAN. Improved one- and two-dimensional GAN classification frameworks are used to extract complete spectral and spatial-spectral features, respectively. Those features are nonlinearly fused to form a more comprehensive spatial-spectral features for classification. The experiments on two commonly used hyperspectral image datasets show that the proposed algorithm achieves the best classification accuracy; further, the results verify the effectiveness and advantages of the proposed algorithm.

1 引言

近年来,深度学习在图像处理方面表现出的优势,让高光谱图像分类的研究学者们受到了启发^[5-9]。深度神经网络(DNN)的研究取得了重大进展,深度神经网络在图像、视频、语音、文本等领域都表现出优异的特征提取能力,目前已经成为计算机视觉、人工智能和机器学习等领域中最为热门的研究方向之一。尽管使用基于深度神经网络的方法在高光谱图像分类中取得了很大进展,但深度神经网络模型需要大量的训练样本来学习网络参数,而高光谱图像分类数据集训练样本有限,因此网络通常会面临过拟合的问题,这意味着网络在训练阶段表现很好,但是在测试阶段的效果很差^[10]。2014年,Goodfellow教授等^[11]提出了生成对抗网络(GAN),该网络可以在很大程度上缓解过拟合的现象,并在小样本训练中获得了很好的效果。2018年,Zhan等^[12]首次使用GAN来提取高光谱图像的光谱特征,在小样本数据训练问题中,该方法与深度神经网络相比获得了更好的分类效果,但是该方法的框架是固定的,应用于不同数据集时需要调整框架;此外,该方法没有考虑像元之间的空间相关性,分类精度仍有待提高。同年,Zhu等^[13]将深度卷积生成式对抗网络^[14] (DCGAN)引入到高光谱图像分类中,并提出了基于光谱特征的一维生成式对抗网络(1D-GAN)和基于空谱联合特征的三维生成式对抗网络(3D-GAN)分类框架,得到了很好的分类效果,但是该方法由于生成器不能有效地模拟高维数据,所以在提取光谱特征和空谱联合特征时需要大幅度降维处理,这将损失较多的光谱特征和空谱联合特征。

为此,本文提出一种基于双通道GAN的高光谱图像分类算法。提出改进的一维GAN分类框架,用以提取全部光谱特征,提出改进的二维GAN分类框架,用以提取空间特征;然后结合上述两种框架提出双通道GAN分类框架,采用该框架对光谱特征和空间特征进行融合得到更为全面的空谱联合特征,将该联合特征送入到分类器中进行分类,以提升高光谱图像的分类精度。

2 理论基础知识

2.1 GAN

GAN是一种训练生成模型的新方法,也是训练分类器的有效方法。一般情况下,GAN分为两部分:生成器G和判别器D。生成器G用于捕获真实样本的潜在分布进而生成新的数据;判别器D本质上是一个二分类器,用来判别输入的样本是真实的还是虚假的。GAN中的信息传递是从产生假样本的生成器G到判别器D的前馈通道,其目的是为了评估生成器G的输出。GAN的框架结构如图1所示。

图 1. GAN框架结构

Fig. 1. GAN framework structure

下载图片查看所有图片

为了通过真实样本x学习生成器G的分布率p_g,假设真实样本的分布率为p(x),输入噪声的分布率为p(z)。生成器G接收一个随机噪声z作为输入,并产生一个映射到数据空间的假样本G(z)。D(x)用于估计来自训练样本的x为真实样本的概率。在优化的过程中,为了使正确标签分给正确样本的概率最大,希望通过训练判别器D使得log[D(x)]最大化;与此同时,训练生成器G使得log{1-D[G(z)]}最小化。因此,本文进行优化的最终目的是求解判别器和生成器的最大最小化问题,其表达式为

\begin{matrix} \min_{G} \max_{D} V (D, G) = E_{x ~ p (x)} {\log [D (x)]} + E_{z ~ p (z)} {\log {1 - D [G (z)]}}, (1) \end{matrix}

式中E表示期望。从判别器D的角度来说,它希望能够尽可能地判断出真实样本和生成的假样本,也就是使D(x)尽可能大而D[G(z)]尽可能小,即使V(D,G)尽可能大。而从生成器G的角度来说,它希望自己生成的假样本能够尽可能地接近真实样本,也就是希望D[G(z)]尽可能大而D(x)尽可能小,即使V(D,G)尽可能小。因此,生成器G和判别器D这两个模型在训练过程中不断地相互对抗,最终达到全局最优。

2.2 DCGAN

DCGAN是对GAN结构的改进模型,它在GAN中引入了CNN的网络拓扑结构,并设置了一系列的限制使其可以进行稳定的训练,因此在很多情况下具备更好的稳定性^[15]。

DCGAN在原始GAN上做了以下几点改进:其一,在DCGAN中,将原始GAN所有的池化操作用卷积操作来代替,其中判别器D中的池化层用卷积层来代替,而生成器G中的池化层则用反卷积层来替代,这使得生成器G能够学习它自己的空间上采样,而判别器D可以学习它自己的空间下采样;其二,DCGAN在除了生成器G的输出层和判别器D的输入层外的其他层使用批量标准化操作(BN)来稳定学习,有助于处理初始化不良导致的训练结果差的问题;其三,移除了更深层架构的全连接隐藏层,提升了收敛速度;其四,在生成器G的所有反卷积层上使用ReLU激活函数,只有输出层使用Tanh激活函数;其五,在判别器D的所有卷积层上使用LeakyReLU激活函数。

图2所示为DCGAN在LSUN数据集情境下的生成器G和判别器D的结构,其中Conv表示卷积,Deconv表示反卷积。在生成器G的结构中,将均匀分布的100维随机噪声z作为输入,z通过投影和重塑之后通过4个反卷积层,最终输出64×64×3大小的图像,而判别器D的结构操作则与生成器G的结构操作相反。

图 2. DCGAN在LSUN数据集上的结构图

Fig. 2. Structural diagram of DCGAN on LSUN dataset

下载图片查看所有图片

3 基于双通道GAN的高光谱图像分类算法的设计

3.1 高光谱图像GAN分类模型

高光谱图像GAN分类模型^[13]利用了DCGAN的框架,并借鉴了条件标签生成式对抗网络^[16](ACGAN)的思想,引入了ACGAN中的softmax分类器和目标函数,并将其目标函数加以修改来生成适合高光谱图像分类的目标函数。softmax分类器在多分类中表现出很好的性能,其表达式为

f (x_{i}) = \frac{\exp x_{i}}{\sum_{j} \exp x_{j}}, (2)

式中:i=j=1,2,…,n,n为输入张量的维度;x_i为输入张量第i维的元素;x_j为输入张量第j维的元素。softmax的主要目的是将输入张量的每个元素缩放到(0,1)区间且使其和为1,从而通过不同幅度的概率值来进行多分类。

高光谱图像GAN分类模型考虑了真实数据样本的似然概率和正确标签的似然概率,其框架如图3所示。图中,噪声被送到生成器G中,生成器G生成的假数据样本和高光谱真实数据样本被送入到判别器D中,判别器D的输出被分别送入到sigmoid中判别真假和送入到softmax中对数据样本进行分类。

图 3. 高光谱图像GAN分类框架

Fig. 3. GAN classification framework of hyperspectral image

下载图片查看所有图片

在高光谱图像GAN分类模型的训练过程中,将噪声z送入到生成器G中,因此生成器G的输出可以定义为

X_{fake} = G (z) 。 (3)

将真实训练数据样本和由G生成的假数据样本作为判别器D的输入。真实数据样本的概率分布P(SX)及类别标签上的概率分布P(CX)被送入判别器D中,其中X表示图像数据。因此,网络的目标函数包括两部分,即正确判别输入数据的对数似然函数L_S和正确判别标签类别的对数似然函数L_C,表达式为

\{\begin{array}{l} L_{S} = E [\log P (S = real | X_{real})] + E [\log P (S = fake | X_{fake})] \\ L_{C} = E [\log P (C = c | X_{real})] + E [\log P (C = c | X_{fake})] \end{array}, (4)

式中:X_real为真实数据;C为类别;c为第c类;S=real表示当前数据被判别为真实数据,S=fake表示当前数据被判别为生成的假数据。

在高光谱图像GAN分类框架中,本文的目的是优化判别器D使L_S+L_C最大,优化生成器G使L_C-L_S最大。

文献[ 13]中提出的高光谱图像GAN分类模型取得了很好分类的结果,但是由于该方法不能有效地模拟高维数据,所以在提取光谱特征和空谱联合特征时需要降维处理,这将损失较多的光谱特征。为此,本文基于上述方法的思想,通过不断实验,一共设计了三个适用于高光谱图像分类问题的框架,即单独提取全部光谱特征的改进一维GAN分类框架、单独提取空间特征的改进二维GAN分类框架和结合上述两个框架提取空谱联合特征的双通道GAN分类框架。

3.2 改进的一维GAN分类框架设计

改进的一维GAN分类框架借鉴了1D-GAN^[13]的结构,在此基础上不断实验,更改了网络结构和参数,搭建了新的网络模型框架,以提取高光谱图像全部的光谱特征。该算法不需要对高光谱数据进行降维预处理,也无需随着高光谱图像数据维度的变化而改变网络结构,可以直接将高光谱图像数据送入到网络中,提取全部的光谱特征。由于高光谱图像数据的维度有几百维,信息高度冗余,生成器G可能难以模拟真实数据,为了使生成器G训练稳定且生成的数据能够更加贴近真实样本,本文使用了DCGAN的结构形式,在判别器D中应用了卷积层,在生成器G中应用了反卷积层,并加深了生成器G和判别器D的网络。

改进的一维GAN分类算法的框架和结构如表1和图4所示。生成器G中包含了5个反卷积层和一个全连接层,判别器D中包含了7个卷积层。其中a=n_nc/4(向下取整),n_nc为高光谱图像的维度,n_nclass表示图像中包含的地物类别数。生成器G中的全连接层是将生成器G中生成的假数据统一成1×n_nc大小的形式,这样可以保证无论高光谱图像数据的维度怎样变化,生成器G都能生成与其真实样本数据维度一致的假样本数据。在改进的一维GAN分类算法中,首先将1×100维的噪声作为输入送入生成器G中,通过5层反卷积操作和1层全连接操作,得到生成的1×n_nc大小的假数据样本,再将真实数据样本与假数据样本送入到判别器D中,最后,通过7层卷积操作将得到的输出结果作为样本的光谱特征分别送入sigmoid二分类器中(判别真假)和softmax多分类器中(对样本进行分类)。

表 1. 改进的一维GAN分类框架

Table 1. Improved one-dimensional GAN classification framework

Networks	Layer	Operation	Kernel size	BN	Stride	Padding	Activation function
Generator	1	Deconv	1×1×1024	No	1	0	ReLU
	2	Deconv	1×1×128×a	Yes	1	0	ReLU
	3	Reshape	-	No	-	-	No
	4	Deconv	4×1×256	Yes	2	1	ReLU
	5	Deconv	4×1×64	Yes	2	1	ReLU
	6	Deconv	1×1×1	No	1	0	Tanh
	7	Full	1×n_nc	No	-	-	No
Discriminator	1	Conv	3×1×32	No	1	1	LeakyReLU
	2	Conv	3×1×32	No	1	1	LeakyReLU
	2	Conv	3×1×64	No	1	0	LeakyReLU
	3	Conv	3×1×64	No	1	0	LeakyReLU
	3	Conv	3×1×128	No	2	1	LeakyReLU
	4	Conv	3×1×128	No	2	1	LeakyReLU
	4	Conv	3×1×256	No	1	0	LeakyReLU
	5	Conv	3×1×256	No	1	0	LeakyReLU
	5	Conv	3×1×128	No	1	0	LeakyReLU
	6	Conv	3×1×128	No	1	0	LeakyReLU
	6	Conv	3×1×32	No	2	1	LeakyReLU
	7	Conv	3×1×32	No	2	1	LeakyReLU
	7	Reshape	-	No	-	-	No
	8	Reshape	-	No	-	-	No
	8	Conv	1×1×1024	No	1	0	No
	9	Conv	1×1×1024	No	1	0	No
		Softmax	1024×n_nclass	No	-	-	No
		Sigmoid	1024×2	No	-	-	No

查看所有表

图 4. 改进的一维GAN分类结构

Fig. 4. Improved one-dimensional GAN classification structure

下载图片查看所有图片

3.3 改进的二维GAN分类框架设计

改进的二维GAN分类框架在DCGAN框架的基础上重新进行了搭建,使其能够适用于高光谱图像分类问题,以便更好地提取高光谱图像的空间特征,进而提升高光谱图像分类的精度。本文使用主成分分析(PCA)将高光谱图像降维成三维来提取高光谱图像的空间特征。

采用改进的二维GAN分类算法设计的框架和结构如图5和表2所示。生成器G包含了5个反卷积层,判别器D包含了5个卷积层。在改进的二维GAN分类算法中,首先将1×100维的噪声送入到生成器G中,经过5个反卷积层后生成假的样本数据,然后将生成的假数据与真实高光谱数据一同送入到判别器D中进行判别,最后,将假样本数据和真实样本数据通过判别器D中的5个卷积层后得到的输出结果作为样本的空间信息特征,将此特征分别送入sigmoid二分类器(进行判别)和softmax多分类器(进行分类)。

图 5. 改进的二维GAN分类结构

Fig. 5. Improved two-dimensional GAN classification structure

下载图片查看所有图片

表 2. 改进的二维GAN分类框架

Table 2. Improved two-dimensional GAN classification framework

Networks	Layer	Operation	Kernel size	BN	Stride	Padding	Activation function
Generator	1	Deconv	1×1×1024	No	1	0	ReLU
	2	Reshape	-	No	-	-	No
	3	Deconv	4×4×128	Yes	2	1	ReLU
	4	Deconv	4×4×256	Yes	2	1	ReLU
	5	Deconv	4×4×128	Yes	2	1	ReLU
	6	Deconv	4×4×3	No	2	1	Tanh
Discriminator	1	Conv	3×3×32	No	2	1	LeakyReLU
	2	Conv	3×3×64	No	2	1	LeakyReLU
	3	Conv	3×3×128	No	2	1	LeakyReLU
	4	Conv	3×3×64	No	2	1	LeakyReLU
	5	Reshape	-	No	-	-	No
	6	Conv	1×1×1024	No	1	0	No
	7	Softmax	1024×n_nclass	No	-	-	No
	7	Sigmoid	1024×2	No	-	-	No

查看所有表

3.4 双通道GAN分类框架设计

高光谱图像不仅包含光谱特征也包含空间特征,基于空谱联合特征的分类方法往往比基于单特征的分类方法更为有效^[4]。因此,为了提取更为全面的光谱特征和空间特征,本文以上述两种模型框架为基础,引入空谱联合特征的思想,设计了如图6所示的双通道GAN分类框架。在这个框架中,首先通过训练改进的一维GAN分类框架提取到光谱特征F₁,将光谱特征通过一个全连接层和一个ReLU非线性激活函数生成具有非线性的光谱特征 $F_{1}^{1}$ ,再通过训练改进的二维GAN分类框架提取到空间特征F₂,将空间特征同样送入到一个全连接层和ReLU非线性激活函数中来获取具有非线性的空间特征 $F_{2}^{1}$ ,最后将得到的非线性光谱特征 $F_{1}^{1}$ 和非线性空间特征 $F_{2}^{1}$ 进行叠加生成光谱特征和空间特征融合的空谱联合特征F₃,并将空谱联合特征F₃送入到softmax多分类器中进行分类,进而得到了最后的分类结果。空谱联合特征F₃的表达式为

F_{3} = F_{1}^{1} + F_{2}^{1} 。 (5)

图 6. 双通道GAN分类结构

Fig. 6. Two-channel GAN classification structure

下载图片查看所有图片

4 实验仿真与分析

实验仿真采用的是常用于高光谱图像分类的两组数据集,Salinas和Indian pines数据集,这两组数据集都是公开的高光谱基准数据,且包含相对准确的地物覆盖真值,它们的空间和光谱分辨率不同,可以更加全面验证算法的有效性和稳定性,所有数据集将在后续章节中进行详细介绍。为了验证所提算法的有效性和先进性,对比算法采用的是高光谱图像分类算法中的深度卷积分类算法1D-CNN^[13]、2D-CNN^[13]、3D-CNN^[6]和目前效果最好的高光谱GAN分类算法1D-GAN^[13]和3D-GAN^[13]。改进的一维GAN分类框架(以下简称为HS-1D-GAN)的batchsize设置为100,生成器G和判别器D的迭代次数为1000,学习率设置为0.0002。改进的二维GAN分类框架(以下简称HS-2D-GAN)的batchsize设置为50,生成器G和判别器D迭代次数设置为1000,学习率为0.0002。双通道GAN分类框架(以下简称为HS-TC-GAN)的batchsize设置为50,生成器G和判别器D迭代次数设置为1000,后接softmax分类器的迭代次数为200,学习率设置为0.0002。为了公平对比并验证所提算法在小样本量数据集上的有效性,在所有算法实验过程中,对每一个数据集都选取500个样本作为训练集,数据集中的其余样本作为测试集。其他对比算法中的参数都参照相应文献中给出的参数进行实验。在实验中,将测试所有本文提出算法的精度和性能。所有算法均独立运行20次,最终结果是20次实验结果的平均值。

本文采用常用于评价高光谱图像分类结果的三个精度评价指标来评估所提算法的性能,它们分别是总分类精度(OA)、平均分类精度(AA)和Kappa统计量^[17]。

混淆矩阵C是用于评价分类精度的基本指标,通过将真实地物标签与分类的结果相比较进行计算可得到C,再根据C计算出总分类精度、平均分类精度和Kappa统计量。

总分类精度表示全部测试数据集中被正确分类的样本个数与全部测试集中样本个数之比,其表达式为

OA = \frac{\overset{K}{\sum_{i = 1}} C (i, i)}{N}, (6)

式中:OA表示总分类精度;K表示类别数;N表示样本总数; $\overset{K}{\sum_{i = 1}} C (i, i)$ 为第i类被正确分类的总个数。

平均分类精度表示每一个类别分类精度的平均值,其表达式为

AA = \frac{\overset{K}{\sum_{i = 1}} O A_{(i)}}{K}, (7)

式中:AA表示平均分类精度; OA₍_i₎表示第i类的总分类精度。

Kappa系数表示的是一个预测的分类结果与真实结果吻合程度的指标,它在考虑样本被正确分类的同时,也考虑了各种漏分(某些样本没有被分到应属于的类别中)和错分(某类样本被错误地分到其他类别中)的情况,其计算式为

Kappa = \frac{N \overset{K}{\sum_{i = 1}} C (i, i) - \overset{K}{\sum_{i = 1}} C (i, +) C (+, i)}{N^{2} - \overset{K}{\sum_{i = 1}} C (i, +) C (+, i)}, (8)

式中C(i,+)和C(+,i)分别表示第i行和第i列的总样本个数。

本文所有实验的硬件平台采用Inter(R)Core(TM)i7-8700k CPU,3.70 GHz,内存32 GB,GPU为GeForce GTX 1080Ti,软件平台采用python 3.6.6和pytorch 0.4.0。

4.1 Salinas数据集仿真实验

Salinas数据集是1998年由AVIRIS从美国加州萨利纳斯山谷采集得到的,该数据波段为0.4~2.5 μm,原始数据包含了224个波段,其空间分辨率为3.7 m,每个波段的图像大小为 512 pixel×217 pixel,去除第108~第112、第154~第167和第224个水吸收波段后,剩余204个可用的光谱波段。图7显示了Salinas高光谱伪彩色合成图和真实地物参考图,合成图由波段54、31和21合成,该数据集地物分布均匀且空间分辨率较高,覆盖地区为农作物种植区,一共有16个地物类别,其样本数如表3所示。

图 7. Salinas数据集。(a) 伪彩色合成图;(b) 地物参考图

Fig. 7. Salinas dataset. (a) Pseudo color composite map; (b) feature reference map

下载图片查看所有图片

表 3. Salinas dataset sample table

Table 3.

No.	Class	Sample number
1	Brocoli_green_weeds_1	1977
2	Brocoli_green_weeds_2	3726
3	Fallow	1976
4	Fallow_rough_plow	1394
5	Fallow_smooth	2678
6	Stubble	3959
7	Celery	3579
8	Grapes_untrained	11213
9	Soil_vinyard_develop	6197
10	Corn_senesced_green_weeds	3249
11	Lettuce_romaine_4wk	1058
12	Lettuce_romaine_5wk	1908
13	Lettuce_romaine_6wk	909
14	Lettuce_romaine_7wk	1061
15	Vinyard_untrained	7164
16	Vinyard_vertical_trellis	1737
Total		53785

查看所有表

表4给出了1D-CNN、1D-GAN、2D-CNN、3D-CNN、3D-GAN算法和本文提出的三种算法(HS-1D-GAN、HS-2D-GAN和HS-TC-GAN)在Salinas数据集上的分类性能比较。根据表4中的数据进行分析,在基于光谱特征的分类算法中,HS-1D-GAN算法与1D-CNN、1D-GAN算法相比较,得到的三种指标的分类精度最高,与对比算法中表现最好的1D-GAN算法相比,OA、AA和Kappa系数分别提升了3.34%、1.81%和3.71%。在基于空间特征的分类算法中,HS-2D-GAN算法与2D-CNN算法相比较,OA、AA和Kappa系数分别提升了9.31%、7.10%和10.38%。在基于空谱联合特征的分类算法中,HS-TC-GAN算法与3D-CNN和3D-GAN算法相比较,分类精度也最高,与对比算法中表现最好的3D-GAN算法相比,OA、AA和Kappa系数分别提升了6.29%、4.25%和7.00%。这证明了在Salinas数据集中,基于GAN分类算法在使用小样本数据进行训练时,能获得比基于CNN分类算法更高的分类精度;并且与现有的GAN分类算法相比,本文提出的算法表现出更高的分类性能,验证了本文提出的算法的有效性。单独比较本文提出的HS-1D-GAN、HS-2D-GAN和HS-TC-GAN分类算法时,HS-TC-GAN算法的分类精度最高,与HS-1D-GAN算法相比,OA、AA和Kappa系数分别提高了9.45%、5.40%和10.53%,与HS-2D-GAN算法相比,OA、AA和Kappa系数分别提高了2.52%、2.49%和2.81%。这说明在Salinas数据实验中,基于空谱联合特征的双通道GAN分类框架的算法与单独使用光谱特征的分类算法和单独使用空间特征的分类算法相比,能够更为有效地提升分类精度。

表 3. Salinas dataset sample table

Table 3.

No.	Class	Sample number
1	Brocoli_green_weeds_1	1977
2	Brocoli_green_weeds_2	3726
3	Fallow	1976
4	Fallow_rough_plow	1394
5	Fallow_smooth	2678
6	Stubble	3959
7	Celery	3579
8	Grapes_untrained	11213
9	Soil_vinyard_develop	6197
10	Corn_senesced_green_weeds	3249
11	Lettuce_romaine_4wk	1058
12	Lettuce_romaine_5wk	1908
13	Lettuce_romaine_6wk	909
14	Lettuce_romaine_7wk	1061
15	Vinyard_untrained	7164
16	Vinyard_vertical_trellis	1737
Total		53785

查看所有表

在Salinas数据集实验中,将算法的训练时间、测试时间和总时间作对比,在比较基于GAN的分类算法和基于CNN的分类算法时,由于GAN需要生成器G和判别器D两个网络一起训练,网络相较CNN复杂,所需参数量更多,所以在基于深度学习的算法中,CNN的训练时间较短。在基于GAN的各类算法中,由于卷积核的选取,网络层数搭建的深度及分别提取光谱特征、空间特征和空谱联合特征所需计算量不同等因素,各类GAN的训练时间也有所不同,其中HS-TC-GAN算法由于有两个通道,相当于两个GAN网络框架,且需要提取空谱联合特征,因此,其训练时间最长,在基于深度学习的算法中测试时间也最长;而1D-CNN算法的网络结构最为简单,仅需对光谱特征进行处理,所以在基于深度学习的分类算法中训练时间最短,在所有算法中测试时间最短。

图8给出了8种算法在Salinas数据集上的图像分类结果。从视觉直观来看,在基于光谱特征的分类算法中,HS-1D-GAN算法与1D-CNN、1D-GAN算法相比较,HS-1D-GAN算法中同种地物错分的情况要更少。在基于空间特征的分类算法中,HS-2D-GAN算法与2D-CNN算法相比较,HS-2D-GAN算法的分类视觉效果更好一些,如左上角紫色对应地物的分类,HS-2D-GAN算法显然比2D-CNN算法更为准确,紫色区域的分类效果更好。在基于空谱联合特征的分类算法中,HS-TC-GAN算法与3D-CNN和3D-GAN算法相比较,HS-TC-GAN算法的分类结果几乎接近了真实地物参考图,而3D-CNN和3D-GAN算法仍存在明显的错分情况。比较本文提出的HS-1D-GAN、HS-2D-GAN和HS-TC-GAN分类算法可知,HS-TC-GAN分类算法的分类结果具有最好的视觉效果,说明在Salinas数据实验中,基于空谱联合特征的双通道GAN分类方法的效果要比单独利用光谱特征和单独利用空间特征的分类效果更好。

图 8. Salinas数据集上8种算法的分类结果。(a) 真实地物参考图; (b) 1D-CNN; (c) 1D-GAN; (d) HS-1D-GAN; (e) 2D-CNN; (f) HS-2D-GAN; (g) 3D-CNN; (h) 3D-GAN; (i) HS-TC-GAN

Fig. 8. Classification results of the eight algorithms on the Salinas dataset. (a) Real feature reference map; (b) 1D-CNN; (c) 1D-GAN; (d) HS-1D-GAN; (e) 2D-CNN; (f) HS-2D-GAN; (g) 3D-CNN; (h) 3D-GAN; (i) HS-TC-GAN

下载图片查看所有图片

4.2 Indian pines数据集仿真实验

Indian pines数据集由AVIRIS于1992年采集于美国印第安州西北部普渡大学农场,该数据集波段为0.4~2.5 μm,其原始数据包含了220个通道,空间分辨率为20 m,图像大小为145 pixel×145 pixel。去除第104~第108,第150~第163及第220个水吸收波段后,剩余200个可用波段。图9显示了该高光谱的伪彩色合成图和真实地物参考图,该合成图是由波段50、27及17合成的。该数据集共有16类地物,表5为Indian pines数据集样本表。

图 9. Indian pines数据集。(a) 伪彩色合成图;(b) 地物参考图

Fig. 9. Indian pines dataset.(a) Pseudo color composite map; (b) feature reference map

下载图片查看所有图片

表 5. Indian pines dataset sample table

Table 5.

No.	Class	Sample number
1	Alfalfa	46
2	Corn-notill	1428
3	Corn-min	830
4	Corn	237
5	Grass-pasture	483
6	Grass-trees	730
7	Grass-pasture-mowed	28
8	Hay-windrowed	478
9	Oats	20
10	Soybean-notill	972
11	Soybean-mintill	2455
12	Soybean-clean	593
13	Wheat	205
14	Woods	1265
15	Buildings-Grass-Trees	386
16	Stone-Steel-Towers	93
Total		10249

查看所有表

表6给出了1D-CNN、1D-GAN、2D-CNN、3D-CNN、3D-GAN算法和本文提出的三种算法在Indian pines数据集上的分类性能比较。根据表6中的数据进行分析,在基于光谱特征的分类算法中,HS-1D-GAN算法与1D-CNN、1D-GAN算法相比较,HS-1D-GAN算法获得了最高的分类精度(与1D-GAN相比,OA、AA和Kappa系数分别提升了4.98%、4.34%和5.88%)。在基于空间特征的分类算法中,HS-2D-GAN算法与2D-CNN算法相比较,HS-2D-GAN算法的OA、AA和Kappa系数分别提升了1.98%、6.25%和2.28%。在基于空谱联合特征的分类算法中,HS-TC-GAN算法与3D-CNN和3D-GAN算法相比,HS-TC-GAN算法的分类精度最高(与3D-GAN算法相比,OA、AA和Kappa系数分别提升了6.40%、10.72%和7.31%)。这证明了在Indian pines数据集中,基于GAN分类算法在小训练样本的情况下也获得了比基于CNN分类算法更高的分类精度,并且本文提出的算法与现有的1D-GAN、3D-GAN算法相比同样获得了更高的分类精度。单独比较HS-1D-GAN、HS-2D-GAN和HS-TC-GAN分类算法后可知,HS-TC-GAN算法获得了最好的分类结果,HS-TC-GAN算法比HS-1D-GAN算法的OA、AA和Kappa系数分别提高了30.84%、37.24%和35.41%,HS-TC-GAN算法比HS-2D-GAN算法的OA、AA和Kappa系数分别提高了5.38%、6.40%和6.13%。在Indian pines数据集上比较各类算法的训练时间、测试时间和总时间后可知, 1D-CNN算法的测试时间、训练时间和总时间最短。

表 4. 8种算法在Salinas数据集上的分类性能比较

Table 4. Comparison of classification performances of eight algorithms on Salinas dataset

Index	1D-CNN	1D-GAN	HS-1D-GAN	2D-CNN	HS-2D-GAN	3D-CNN	3D-GAN	HS-TC-GAN
OA /%	86.12	86.88	90.22	87.84	97.15	92.04	93.38	99.67
AA /%	89.63	92.24	94.05	89.86	96.96	94.54	95.20	99.45
Kappa /%	84.48	85.39	89.10	86.44	96.82	91.13	92.63	99.63
Train time /s	8.96	19.67	120.99	94.61	195.60	211.90	350.49	385.27
Test time /s	0.51	0.54	2.87	3.95	2.43	4.00	3.48	5.11
Total time /s	9.47	20.21	123.86	98.56	198.03	215.90	353.97	390.38

查看所有表

图10给出了本文3种算法和其他5种对比算法在Indian pines数据集上的图像分类结果。在基于光谱特征的分类算法中,HS-1D-GAN算法与1D-CNN、1D-GAN算法得到的分类图像相比,三种算法的错分都很严重,但是仔细观察得到的分类图像(如图像的左上角)可知,HS-1D-GAN算法的分类结果更贴近真实地物分类结果。在基于空间特征的分类算法中, HS-2D-GAN算法的分类结果显然比2D-CNN算法的分类结果更贴近于真实地物图像。在基于空谱联合特征的分类算法中,与3D-CNN和3D-GAN算法相比,HS-TC-GAN算法的分类结果几乎与真实地物图像一致,仅有少数几个错分的点,而3D-CNN和3D-GAN两种算法虽然与真实地物较为相近,但是可以明显地看出错分的情况较多。同样,单独比较本文提出的三种分类算法后可知,HS-TC-GAN分类算法的分类结果从视觉角度观察是最好的,这说明在对Indian pines数据进行实验时,利用空谱联合特征的结果有助于提升分类精度和视觉效果。

图 10. Indian pines数据集上8种算法的分类结果。(a) 真实地物参考图; (b) 1D-CNN; (c) 1D-GAN; (d) HS-1D-GAN; (e) 2D-CNN; (f) HS-2D-GAN; (g) 3D-CNN; (h) 3D-GAN; (i) HS-TC-GAN

Fig. 10. Classification results of the eight algorithms on the Indian pines dataset. (a) Real feature reference map; (b) 1D-CNN; (c) 1D-GAN; (d) HS-1D-GAN; (e) 2D-CNN; (f) HS-2D-GAN; (g) 3D-CNN; (h) 3D-GAN; (i) HS-TC-GAN

下载图片查看所有图片

5 结论

针对现有高光谱图像GAN分类算法提取光谱特征和空谱联合特征不全面而导致的分类精度不高的问题,提出了基于双通道GAN的高光谱图像分类算法。首先,提出了改进的一维GAN分类框架和改进的二维GAN分类框架,并采用这两个框架分别提取高光谱图像全部的光谱特征和空间特征;其次,结合上述两种框架搭建双通道GAN分类框架,采用该框架将得到的光谱特征和空间特征进行融合,并利用得到的空谱联合特征进行高光谱图像分类。实验结果表明,与其他算法相比,本文算法获得了最高的分类精度,证明了本文算法对小样本训练有效的同时,也说明了本文算法对光谱特征和空谱联合特征的提取较现有的高光谱图像GAN分类算法更为全面,高光谱图像的分类精度大幅度提升,验证了本文算法的先进性和有效性。

参考文献

[1] 崔颖, 徐凯, 陆忠军, 等. 主动学习策略融合算法在高光谱图像分类中的应用[J]. 通信学报, 2018, 39(4): 2018067.

Cui Y, Xu K, Lu Z J, et al. Combination strategy of active learning for hyperspectral images classification[J]. Journal on Communications, 2018, 39(4): 2018067.

[2] 董安国, 李佳逊, 张蓓, 等. 基于谱聚类和稀疏表示的高光谱图像分类算法[J]. 光学学报, 2017, 37(8): 0828005.

Dong A G, Li J X, Zhang B, et al. Hyperspectral image classification algorithm based on spectral clustering and sparse representation[J]. Acta Optica Sinica, 2017, 37(8): 0828005.

[3] 侯榜焕, 姚敏立, 王榕, 等. 面向高光谱图像分类的空谱半监督局部判别分析[J]. 光学学报, 2017, 37(7): 0728002.

Hou B H, Yao M L, Wang R, et al. Spatial-spectral semi-supervised local discriminant analysis for hyperspectral image classification[J]. Acta Optica Sinica, 2017, 37(7): 0728002.

[4] 于纯妍, 赵猛, 宋梅萍, 等. 基于目标约束与谱空迭代的高光谱图像分类方法[J]. 光学学报, 2018, 38(6): 0628003.

Yu C Y, Zhao M, Song M P, et al. Hyperspectral image classification method based on targets constraint and spectral-spatial iteration[J]. Acta Optica Sinica, 2018, 38(6): 0628003.

[5] Chen Y S, Jiang H L, Li C Y, et al. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(10): 6232-6251.

[6] Li Y, Zhang H K, Shen Q. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network[J]. Remote Sensing, 2017, 9(1): 67.

[7] Wu H, Prasad S. Convolutional recurrent neural networks for hyperspectral data classification[J]. Remote Sensing, 2017, 9(3): 298.

[8] Zhao W Z, Du S H. Spectral-spatial feature extraction for hyperspectral image classification: a dimension reduction and deep learning approach[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(8): 4544-4554.

[9] Aptoula E, Ozdemir M C, Yanikoglu B. Deep learning with attribute profiles for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(12): 1970-1974.

[10] 张号逵, 李映, 姜晔楠. 深度学习在高光谱图像分类领域的研究现状与展望[J]. 自动化学报, 2018, 44(6): 961-977.

Zhang H K, Li Y, Jiang Y N. Deep learning for hyperspectral imagery classification: the state of the art and prospects[J]. Acta Automatica Sinica, 2018, 44(6): 961-977.

[11] Goodfellow IJ, Pouget-AbadieJ, MirzaM, et al.Generative adversarial nets[C]∥Proceedings of the 27th International Conference on Neural Information Processing Systems, December 8-13, 2014, Montreal, Canada. Cambridge, MA,USA: MIT Press, 2014, 2: 2672- 2680.

[12] Zhan Y, Hu D, Wang Y T, et al. Semisupervised hyperspectral image classification based on generative adversarial networks[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(2): 212-216.

[13] Zhu L, Chen Y S, Ghamisi P, et al. Generative adversarial networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(9): 5046-5063.

[14] RadfordA, MetzL, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J/OL]. ( 2016-01-07)[2019-02-10]. https: ∥arxiv.org/abs/1511. 06434.

[15] 杨韶晟. 基于VAE的条件生成式对抗网络模型研究[D]. 长春: 吉林大学, 2018: 26- 29.

Yang SS. Research on conditional generative adversarial networks model based on VAE[D]. Changchun: Jilin University, 2018: 26- 29.

[16] OdenaA, OlahC, ShlensJ. Conditional image synthesis with auxiliary classifier GANs[C]∥Proceedings of the 34th International Conference on Machine Learning, August 6-11, 2017, Sydney, Australis. Massachusetts: JMLR. org, 2017: 2642- 2651.

[17] 马晓瑞. 基于深度学习的高光谱影像分类方法研究[D]. 大连: 大连理工大学, 2017: 30- 31.

Ma XR. Hyperspectral imagery classification based on deep learning[D]. Dalian: Dalian University of Technology, 2017: 30- 31.

3 基于双通道GAN的高光谱图像分类算法的设计

4.2 Indian pines数据集仿真实验

5 结论

毕晓君, 周泽宇. 基于双通道GAN的高光谱图像分类算法[J]. 光学学报, 2019, 39(10): 1028002. Xiaojun Bi, Zeyu Zhou. Hyperspectral Image Classification Algorithm Based on Two-Channel Generative Adversarial Network[J]. Acta Optica Sinica, 2019, 39(10): 1028002.

基于双通道GAN的高光谱图像分类算法 下载： 1991次

1 引言

2 理论基础知识

2.1 GAN

图 1. GAN框架结构

Fig. 1. GAN framework structure

2.2 DCGAN

图 2. DCGAN在LSUN数据集上的结构图

Fig. 2. Structural diagram of DCGAN on LSUN dataset

3 基于双通道GAN的高光谱图像分类算法的设计

3.1 高光谱图像GAN分类模型

图 3. 高光谱图像GAN分类框架

Fig. 3. GAN classification framework of hyperspectral image

3.2 改进的一维GAN分类框架设计

表 1. 改进的一维GAN分类框架

Table 1. Improved one-dimensional GAN classification framework

图 4. 改进的一维GAN分类结构

Fig. 4. Improved one-dimensional GAN classification structure

3.3 改进的二维GAN分类框架设计

图 5. 改进的二维GAN分类结构

Fig. 5. Improved two-dimensional GAN classification structure

表 2. 改进的二维GAN分类框架

Table 2. Improved two-dimensional GAN classification framework

3.4 双通道GAN分类框架设计

图 6. 双通道GAN分类结构

Fig. 6. Two-channel GAN classification structure

4 实验仿真与分析

4.1 Salinas数据集仿真实验

图 7. Salinas数据集。(a) 伪彩色合成图;(b) 地物参考图

Fig. 7. Salinas dataset. (a) Pseudo color composite map; (b) feature reference map

表 3. Salinas dataset sample table

Table 3.

表 3. Salinas dataset sample table

Table 3.

图 8. Salinas数据集上8种算法的分类结果。(a) 真实地物参考图; (b) 1D-CNN; (c) 1D-GAN; (d) HS-1D-GAN; (e) 2D-CNN; (f) HS-2D-GAN; (g) 3D-CNN; (h) 3D-GAN; (i) HS-TC-GAN

Fig. 8. Classification results of the eight algorithms on the Salinas dataset. (a) Real feature reference map; (b) 1D-CNN; (c) 1D-GAN; (d) HS-1D-GAN; (e) 2D-CNN; (f) HS-2D-GAN; (g) 3D-CNN; (h) 3D-GAN; (i) HS-TC-GAN

4.2 Indian pines数据集仿真实验

图 9. Indian pines数据集。(a) 伪彩色合成图;(b) 地物参考图

Fig. 9. Indian pines dataset.(a) Pseudo color composite map; (b) feature reference map

表 5. Indian pines dataset sample table

Table 5.

表 4. 8种算法在Salinas数据集上的分类性能比较

Table 4. Comparison of classification performances of eight algorithms on Salinas dataset

图 10. Indian pines数据集上8种算法的分类结果。(a) 真实地物参考图; (b) 1D-CNN; (c) 1D-GAN; (d) HS-1D-GAN; (e) 2D-CNN; (f) HS-2D-GAN; (g) 3D-CNN; (h) 3D-GAN; (i) HS-TC-GAN

Fig. 10. Classification results of the eight algorithms on the Indian pines dataset. (a) Real feature reference map; (b) 1D-CNN; (c) 1D-GAN; (d) HS-1D-GAN; (e) 2D-CNN; (f) HS-2D-GAN; (g) 3D-CNN; (h) 3D-GAN; (i) HS-TC-GAN

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于双通道GAN的高光谱图像分类算法下载： 1991次