结合均值漂移分割与全卷积神经网络的高分辨遥感影像分类

方旭; 王光辉; 杨化超; 刘慧杰; 闫立波

doi:doi:10.3788/LOP55.022802

激光与光电子学进展, 2018, 55 (2): 022802, 网络出版: 2018-09-10

结合均值漂移分割与全卷积神经网络的高分辨遥感影像分类下载： 1435次

High Resolution Remote Sensing Image Classification Combining with Mean-Shift Segmentation and Fully Convolution Neural Network

论文大纲

方旭 ^1,2,*王光辉 ^1,2杨化超 ¹刘慧杰 ¹闫立波 ¹

作者单位

¹ 中国矿业大学环境与测绘学院, 江苏徐州 221116

² 国家测绘地理信息局卫星测绘应用中心, 北京 100048

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对目前遥感影像分类应用中常用的浅层机器学习算法无法满足当前海量遥感影像数据环境下分类精度的问题,提出了一种将全卷积神经网络应用于遥感影像分类的方法;为了减少影像特征图在池化过程中自身特征的丢失,增加池化层与反卷积层的融合;为了提高融合的可靠性,增加尺度变换层;为了获得更精细的边缘分类结果,考虑像素之间的空间相关性,采用均值漂移聚类分割获取像素的空间关系,通过统计聚类区域像素概率的和最大、方差最小的方法确定该区域对象的类别;选取典型地区的影像进行分类实验,并将所提出的分类方法与全卷积神经网络、支持向量机、人工神经网络方法进行对比。结果表明,所提出的分类方法的精度明显高于传统机器学习方法的精度。

Abstract

Aim

ing at the problem that the shallow machine learning algorithm commonly used in remote sensing image classification application cannot satisfy the classification accuracy in the current mass remote sensing image data environment, we propose a method to apply the fully convolution neural network to the remote sensing image classification. To reduce the loss of image feature map in the pooling process, we add the fusion of the pool layer and the deconvolution layer. To improve the reliability of fusion, we add the scale layer. To obtain finer edge classification results, considering the spatial correlation between pixels mean-shift clustering is used to obtain the spatial relationship of pixels. Classes of regional objects are determined by the maximum sum and the minimum variance of the regional pixel probabilities. Images of typical regions are chosen to carry out the classification experiments, and the classification method proposed in this paper is compared with those of the fully convolution neural network, support vector machine, and artificial neural network. The results show that the accuracy of the classification method proposed in this paper is obviously higher than that of the traditional machine learning methods.

1 引言

遥感影像分类是一种影像信息提取方法,主要利用计算机技术对地球表面及其环境在遥感影像中的信息进行属性识别与分类,以达到提取所需地物信息的目的,是模式识别技术在遥感技术领域中的具体应用^[1]。近几年来,随着科学技术的进步,遥感卫星获取影像的空间分辨率不断提升,高分辨率遥感影像不仅具有丰富的空间、纹理特征,而且包含了大量场景语义信息。迭代数组自组织分析(ISO-Data)、K-近邻(KNN)算法、朴素贝叶斯(NB)算法、分类回归树(CART)等传统的光谱特征统计分类方法的精度低^[2-4]。在这样的背景下,深度学习以其强大的非线性映射能力、自学习、自组织等特性受到研究人员的关注,并获得了快速发展。早期受计算机性能和数据量的限制,较多研究采用支持向量机(SVM)、人工神经网络(ANN)等浅层网络结构。由于计算单元有限,浅层学习的网络很难有效表达复杂函数^[5],但随着高性能计算机的出现,在大数据环境下,浅层模型逐渐不能适应复杂的样本。由多层非线性映射层组成的深度学习网络拥有强大的函数表达能力,在复杂分类上具有很好的效果和效率。Krizhevsky等^[6]提出的AlextNet卷积神经网络(CNN)在自然图像分类中获得了2012年大规模视觉识别挑战赛(ILSVRC 2012)的冠军;Long等^[7]将全卷积神经网络(FCN)应用于Pascal VOC-2012数据集,获得了很高的分类精度,FCN将图像级别的分类延伸到了像素级别的分类。FCN的优势之一在于对海量数据的拟合能力与泛化能力,而且FCN的输入影像可以为任意尺度。在传统遥感影像分类方法中,一般要对图像进行预处理,将图像数据进行特征提取,或者将图像数据通过一定的变换手段进行变换,如通过主成分分析算法(PCA)、最小噪声分离(MNF)变换、偏最小二乘(PLS)等方法进行变换,再将其送入到分类器中进行训练与预测^[8-9],此过程可能会导致影像自身信息的丢失,而且难以制作海量训练数据集,基于统计或浅层学习模型的方法逐渐不能适应当今大数据环境下的复杂样本。目前,深度学习已经在自然语言处理、信息检索、图像识别等领域取得了成功^[10-12],而将深度学习应用于高分辨率遥感影像分类的研究还相对较少。

针对以上问题,本文将FCN算法应用于高分辨率遥感影像的分类中,从而能够充分拟合海量训练数据,增加模型的可适用性,提高分类的可靠性。同时对FCN在遥感影像分类任务上进行一定的优化,在卷积、池化层之后增加池化层与反卷积层的融合,以减少池化过程中影像特征的丢失。通过添加尺度变换层^[13]来提高融合的可靠性。采用均值漂移(mean-shift)分割算法获得像素之间的空间关系,以改善FCN在边缘区域的分类效果。

2 原理与方法

2.1 FCN

FCN和CNN都是含有多个隐层的神经网络模型,是在感知器、反向传播(BP)神经网络的基础上发展起来的。CNN通过强化相邻层神经元之间的局部连接模式来利用空间上的局部相关性。在CNN中将图像的局部感受域作为层级结构的最底层输入,每个神经元不响应感受域以外的变化,确保了训练的“过滤器”产生关于局部空间输入模式的最强烈反应。构造的滤波器能够获取对平移、缩放和旋转不变的图像数据的显著特征,因此近年来以AlexNet、VGGNet和GoogleNet为代表的经典CNN结构在图像分类、语音识别等方面表现出了优异的效果^[14]。与CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类不同,FCN采用卷积层替换全连接层,采用反卷积层对最后一个卷积层的特征图进行上采样,恢复到与输入图像相同的大小,从而可以对每个像素产生概率预测,最后在反卷积的特征图上比较每个类别的概率,从而逐像素进行分类。FCN的基本结构如图1所示,其中H为高度,W为宽度。

2.2 池化层与反卷积层的融合

由于FCN输出的是与原图大小相同的概率图,输入图像经过卷积、池化等一系列运算之后,最底层图像的分辨率小于原图像的分辨率,因此需要利用反卷积将分类后的图像恢复至原尺寸。以VGGNet-16网络为例,图像经过5次池化以后,空间分辨率依次缩小为原分辨率的1/2、1/4、1/8、1/16、1/32。为了使最后一层输出与原始图像具有相同宽高的特征图,在最后一层进行不同倍数的反卷积操作,依据倍数关系可得到相应的FCN的变种FCN-16、FCN-8等网络模型。如果直接将卷积之后的结果进行反卷积至原图大小,就会导致分类效果非常模糊。FCN中深层特征的结果更为稳健,较浅层的特征图保留了更多的细节信息,故将不同深度的预测结果加以融合,网络结构示意图如图2所示,其中,S表示特征图的融合相加操作,ReLU为修正线性单元。

图 1. FCN的基本结构

Fig. 1. Basic structure of FCN

下载图片查看所有图片

图 2. 网络结构示意图

Fig. 2. Diagram of network structure

下载图片查看所有图片

该网络结构融合了pool 2~pool 5池化层的信息;为了提高网络的泛化能力,增加了dropout操作。FCN同样具有CNN的共享权值和网络结构重组的特点,能将特征学习融入到多层神经网络中,其中影像或者特征图的卷积过程可描述为

$\begin{matrix} α_{i}^{l} = f [\overset{N_{l - 1}}{\sum_{j = 1}} Conv (a_{j}^{l - 1}, w_{ij}^{l}) + b_{ij}^{l}], (1) \end{matrix}$

式中 $\begin{matrix} α_{i}^{l} \end{matrix}$ 为l层的第i个特征输出, $\begin{matrix} w_{ij}^{l} \end{matrix}$ 为卷积核的权重参数, $\begin{matrix} b_{ij}^{l} \end{matrix}$ 为偏置,i为特征图的序号,l为网络层序号,N_l-₁为该层网络所包含的滤波数量, j为该层滤波的序号,Conv代表卷积操作,f为线性修正线性单元(ReLU)函数。ReLU函数能够保证与Sigmoid函数有同样的效果,同时能保持较快的收敛速度。上层特征图经过卷积计算,最终通过激活函数得到下一层特征图。为了降低网络训练过程中的运算量和数据维度,卷积层后面接池化层,并采用最大值池化方法。由于要融合不同池化层的信息以提高数据层融合的可靠性,因此需要对数据进行尺度变换操作^[13],其过程可描述为

$\begin{matrix} y = α (x - u) / std + β, (2) \end{matrix}$

式中x为输入的张量数据;y为输出的张量结果;u和std分别为网络训练过程中累积计算的均值与方差;α和β分别为尺度缩放参数和位移参数,可通过不断的迭代学习获得。每个池化层经卷积之后的结果与下层反卷积结果进行融合,网络融合结构示意图如图2所示。将最后的融合结果反卷积至输入影像的大小,再将结果输入softmax函数得到与输入影像相同尺寸的每一类的概率图。FCN应用于高分辨遥感影像分类的网络训练分为2个阶段:

1) 前向传播。从训练集中随机抽取一个样本图像输入网络,图像从输入层经过逐级变化传送到输出层,计算相应的实际输出,其过程可描述为

$\begin{matrix} a^{l + 1} = f (w^{l + 1} \cdot a^{l} + b^{l + 1}), (3) \end{matrix}$

式中a为相应的图像数据流,w和b为相应层的神经元的权重与偏置,f可代表一系列的池化、归一化、激活函数操作。

2) 后向传播。即误差传播阶段,计算理想输出差异h_w_,_bxⁱ与yⁱ的差值,即

$\begin{matrix} J (w, b) = \frac{1}{m} \overset{m}{\sum_{i = 1}} \frac{1}{2} (y^{i} - h_{w, b} x^{i})^{2}, (4) \end{matrix}$

式中m为分类的类别数量,J(w,b)为代价函数。通过选择随机梯度下降的方法来寻找最佳的w和b使得代价函数最小。

2.3 均值漂移分割原理

利用改进后的FCN预测得到每一类的像素概率图,为了改善FCN在类间边缘分类不准确的问题,引入遥感影像分类中常用的对象分类思想,并采用均值漂移分割算法对遥感影像进行像素聚类^[15-16],将获得的像素之间的空间关系加入由FCN得到的分类概率图中,以减少类间边缘区域像素的错误分类,通过统计聚类区域像素概率的和最大、方差最小的方法确定该区域对象的类别。

均值漂移分割算法的基本思想是通过反复迭代搜索样本点在特征空间中概率密度最大的位置,并将漂移路径上及一定范围内的所有样本点都归入一类。同时对均值漂移算法进行扩展,引入核函数及带宽矩阵的概念^[17]。若d维空间中的样本集 $\begin{matrix} {x_{i}}_{i = 1}^{n} \end{matrix}$ 依概率密度函数f(x)经过n次抽样得到,则核函数的概率密度估计为

$\begin{matrix} f = \frac{1}{n h^{d}} \overset{n}{\sum_{i = 1}} K (\frac{x - x_{i}}{h}), (5) \end{matrix}$

式中h为带宽,K(·)为核函数。K(x)=k( $\begin{matrix} {(x)}^{2} \end{matrix}$ ),其中k为权值函数, $\begin{matrix} {(x)}^{2} \end{matrix}$ = $\begin{matrix} \overset{n}{\sum_{s = 1}} \end{matrix} \begin{matrix} {|x_{s}|}^{2} \end{matrix}$ ,s为每一个样本数据的维度,定义g(x)为k(x)的负倒数,即g(x)=-k'(x),记M_h(x)=m_h(x)-x 为均值漂移向量,则均值漂移迭代公式为

$\begin{matrix} \begin{matrix} x_{i + 1} = M_{h} (x_{i}), (6) \\ m_{h} (x) = \frac{\overset{n}{\sum_{i = 1}} g [{((x - x_{i}) h^{- 1})}^{2}] x_{i}}{\overset{n}{\sum_{i = 1}} g [{((x - x_{i}) h^{- 1})}^{2}]} 。 (7) \end{matrix} \end{matrix}$

由(6)式通过迭代运算获得数据集的模值点。在进行图像分割时,将影像数据作为特征空间的数据点,然后在特征空间中进行均值漂移聚类,影像在特征空间中的描述综合了空间和颜色信息,可描述为向量x=(x^s,x^r),其中x^r为像素点的颜色信息,x^s为像素点对应的坐标。由于位置空间与色彩空间相互独立,因此核函数可以分解为2个空间的核函数之积,即

$\begin{matrix} K_{h_{s}, h_{r}} = \frac{C}{h_{s}^{2} h_{r}^{p}} k ({(\frac{x^{s}}{h_{s}})}^{2}) k ({(\frac{x^{r}}{h_{s}})}^{2}), (8) \end{matrix}$

式中h_s和h_r分别为空间和颜色带宽参数,p为颜色信息的维度,C为归一化常数。均值漂移分割算法的基本步骤如下:

1) 在特征空间中任意选择样本点x,搜索区域由带宽参数确定。

2) 根据(6) 、(7)式计算搜索区域内的均值漂移向量M_h(x)。

3) 若向量的模 $\begin{matrix} |M_{h} (x) - x| \end{matrix}$ >ε(ε为容许误差),则移动点x到M_h(x),继续执行步骤2),否则,结束循环。

4) 将收敛后的M_h(x)赋给x,M_h(x)即为样本点x的模点,并对该像素点进行标记。

5) 重复步骤2)~4),直到计算出所有像素点的模值,将有相同标记的像素归为一类。分割的结果以及由FCN得到的分类概率图结果的区域合并示意图如图3所示。

图 3. 区域合并示意图

Fig. 3. Diagram of regional consolidation

下载图片查看所有图片

图3假设为FCN分类得到的某一类概率图的局部区域,位于同一位置像素的不同类别的概率之和为1。由于FCN直接通过比较每个像素的概率大小来确定该像素的类别,所以边界区域容易出现因概率转移而导致的分类不准确的问题,因此采用均值漂移分割可得到更为合理的像素的空间关系。如图3所示,像素值代表该像素属于该类的概率,假设通过概率值比较确认蓝色线内的像素即表示该地类。红色边界代表经过均值漂移分割之后获得的像素空间关系。通过整体比较红色区域内像素概率的和最大以及方差最小的方法最终确定该对象的类别,综上所述,完整的实验流程如图4所示。

3 实验结果与分析

3.1 实验数据

在机器学习的分类方法中,训练数据集的好坏会直接影响机器学习分类方法的精度,本实验采用的训练集与测试集影像来自2016年北京地区高分二号卫星影像。数据集为一张原始影像,唯一对应一张标签影像,按照我国最新的土地一级地类划分标准,根据人工勾画的矢量制作标签影像,经栅格矢量化后,标签影像的像素值分别为1~10,依次代表耕地、园地、林地、草地、建筑、道路、构筑物、人工堆掘地、荒漠与落地、水域地类,通过编程实现批量制作4476对原始影像和标签数据,其中训练集为3629对,测试集为847对,且训练集与测试集互不包含。根据研究区域地物的分布情况,制作512 pixel×512 pixel和1024 pixel×1024 pixel两种尺寸的数据集,大尺寸图像相对于小尺寸图像有更好的空间全局性,能充分利用CNN优异的特征提取能力,尽可能获取合理的参数模型,数据集中两种尺寸图像数量的大致比例为1∶1,图5所示为数据集的原始影像与标签影像的示例。

图 4. 分类实验流程图

Fig. 4. Flow chart of classification method

下载图片查看所有图片

图 5. 原始影像与标签数据示例。(a)示例1;(b)示例2

Fig. 5. Original images and tag data examples. (a) Example 1; (b) example 2

下载图片查看所有图片

实验采用Linux操作系统下的Caffe机器学习框架,硬件环境为CPU Xeon E5-2630 2.4 GHz,GPU Nvidia Tesla M40 24 GB内存。本研究以VGGNet-16卷积网络为基础,改进为FCN全卷积神经网络模型(网络结构示意图见图2)。为了证明实验的充分性与合理性,比较了FCN网络模型的几个变种, FCN-16、FCN-8网络模型在自然图像分类任务中能获得较好的效果^[7],但遥感图像相比自然图像含有更丰富的纹理信息,因此增加池化层与反卷积层的融合,以获得改进的FCN网络模型。

3.2 实验结果

为了验证所提方法在遥感影像分类中的效果,将其与传统SVM、ANN浅层网络分类方法进行对比,然后分别将FCN的两个变种FCN-16、FCN-8与所提FCN进行对比。其中所提方法的训练迭代次数设置为2万,每0.5万次保存一次参数模型,1.5万次时获得的模型效果最佳。最后将最佳FCN结果的各类概率图加入通过均值漂移分割获得的像素空间关系中,并设置3组均值漂移分割参数进行对比实验,3组均值漂移分割参数分别如下:①空间带宽为2,颜色带宽为1,最小像素数为100;②空间带宽为5,颜色带宽为4,最小像素数为200;③空间带宽为7,颜色带宽为6,最小像素数为300。实验影像主要包括建筑、林地、水体、道路、构筑物、草地6种地类,导出的最终分类结果如图6所示。

采用混淆矩阵和总体分类精度来评价实验效果,混淆矩阵表达了每个像素点被分为其他类别的百分比,横向代表每个像素所属的实际类别,纵向为被分成的类别。纵向百分比之和为100%,实验结果数据如表1~8所示,分别用建筑(building)、森林(forest)、水体(water)、道路(road)、构筑物(structure)、草地(grass)英文单词的首字母来B、F、W、R、S、G代替这6种地类,OA为总体精度。

3.3 实验分析

对于依据实验结果构造的混淆矩阵,选择测试影像中的主要类别进行分析。首先对比3组均值漂移的分割结果,第①组与第③组都存在过分割和欠分割的情况,分别将其应用到效果最好的FCN结果上,可以得到第②组参数的优化效果最好。从表7的结果来看,分类结果中建筑、水体、林地的分类精度最高,建筑和水体达到了90%以上的正确率。林地的正确率达到80%以上,道路也有69.5%的正确率,主干道轮廓清晰可辨。草地与构筑物的分类精度分别达到了76.5%和58.5%,基于以上实验结果可得出以下几点结论:

不同方法的分类结果。(a)原始实验影像;(b)均值漂移①分割结果;(c)均值漂移②分割结果;(d)均值漂移③分割结果;(e)真实分类图;(f) SVM分类结果;(g) ANN分类结果;(h) FCN-16分类结果;(i) FCN-8分类结果;(j) FCN分类结果;(k)加入均值漂移①分割结果的FCN分类结果;(l)加入均值漂移②分割结果的FCN分类结果;(m)加入均值漂移③分割结果的FCN分类结果

图 6. 不同方法的分类结果。(a)原始实验影像;(b)均值漂移①分割结果;(c)均值漂移②分割结果;(d)均值漂移③分割结果;(e)真实分类图;(f) SVM分类结果;(g) ANN分类结果;(h) FCN-16分类结果;(i) FCN-8分类结果;(j) FCN分类结果;(k)加入均值漂移①分割结果的FCN分类结果;(l)加入均值漂移②分割结果的FCN分类结果;(m)加入均值漂移③分割结果的FCN分类结果

Fig. 6. Classification results of different methods. (a) Original image; (b) segmentation result of mean-shift ①;(c) segmentation result of mean-shift ②; (d) segmentation result of mean-shift ③; (e) true classification image;(f) classification result of SVM ; (g) classification result of ANN; (h) classification result of FCN-16; (i) classification result of FCN-8; (j) classification result of proposed FCN; (k) classification result of proposed FCN adding segmentation result of mean-shift ①; (l) classifi

下载图片查看所有图片

表 1. SVM分类方法的混淆矩阵与总体精度

Table 1. Confusion matrice and overall accuracy of SVM classification method%

Type ofground	B	F	W	R	S	G
B	81.7	8.1	2.1	45.2	64.1	45.8
F	3.8	70.0	15.1	8.8	7.2	6.9
W	0.5	0.4	79.6	0	0.1	0
R	11.6	14.4	2.5	43.6	13.3	4.5
S	0.7	0.1	0.1	0.2	6.7	0.8
G	1.7	7.1	0.7	2.1	8.6	42.0
OA	66.08

查看所有表

表 2. ANN分类方法的混淆矩阵与总体精度

Table 2. Confusion matrice and overall accuracy of ANN classification method%

Type ofground	B	F	W	R	S	G
B	82.0	11.2	2.5	51.1	72.5	53.0
F	4.4	68.3	12.0	7.4	8.1	32.5
W	0.4	3.7	83.4	0.6	1.9	2.8
R	13.2	16.8	2.2	40.9	17.5	11.7
S	0	0	0	0	0	0
G	0	0	0	0	0	0
OA	64.79

查看所有表

表 3. FCN-16分类方法的混淆矩阵与总体精度

Table 3. Confusion matrice and overall accuracy of FCN-16 classification method%

Type ofground	B	F	W	R	S	G
B	86.3	2.6	0	18.86	34.53	0.38
F	4.1	82.7	5.84	20.93	28.52	51.52
W	1.7	1.7	92.56	3.81	2.88	11.69
R	2.7	5.6	0.14	34.56	1.70	0.14
S	3.8	1.9	0.30	1.32	19.80	13.37
G	1.4	5.6	1.16	20.51	12.57	22.91
OA	71.6

查看所有表

表 4. FCN-8分类方法的混淆矩阵与总体精度

Table 4. Confusion matrice and overall accuracy of FCN-8 classification method%

Type ofground	B	F	W	R	S	G
B	83.54	3.68	0.14	21.24	35.77	8.49
F	8.13	89.59	8.93	38.10	28.27	36.16
W	1.91	0.57	89.92	2.16	2.90	2.18
R	2.46	3.25	0.46	22.96	5.54	2.40
S	1.06	0.19	0.01	1.67	9.77	1.61
G	2.90	2.72	0.54	13.87	17.75	49.16
OA	68.8

查看所有表

表 5. 所提FCN分类方法的混淆矩阵与总体精度

Table 5. Confusion matrice and overall accuracy of proposed FCN classification method%

Type ofground	B	F	W	R	S	G
B	86.2	0.83	0	10.61	14.3	1.8
F	1.97	82.41	2.34	11.15	19.4	26.2
W	0.23	0.30	96.77	3.96	2.7	0
R	4.59	13.39	0.55	69.51	10.4	1.1
S	6.36	1.81	0.32	3.36	52.7	4.7
G	0.62	1.26	0.02	1.42	0.4	66.3
OA	80.90

查看所有表

表 6. 加入均值漂移①分割结果的FCN分类方法的混淆矩阵与总体精度

Table 6. Confusion matrice and overall accuracy of proposed FCN adding segmentation result of mean-shift ①%

Type ofground	B	F	W	R	S	G
B	86.7	0.8	0	14.1	18.5	7.4
F	1.2	84.7	2.6	9.9	17.3	10.0
W	0	0.6	96.2	2.9	1.7	0
R	4.5	11.5	1.0	68.9	9.3	4.5
S	5.3	2.0	0.2	4.1	53.1	9.6
G	0.3	0.4	0	0.1	0.1	68.6
OA	82.1

查看所有表

表 7. 加入均值漂移②分割结果的FCN分类方法的混淆矩阵与总体精度

Table 7. Confusion matrice and overall accuracy of proposed FCN adding segmentation result of mean-shift ②%

Type ofground	B	F	W	R	S	G
B	91.0	1.8	0	17.9	16.5	8.9
F	1.0	82.6	2.9	8.7	14.3	14.3
W	0	0.8	95.0	2.1	1.6	0
R	5.4	13.1	1.6	69.5	9.0	0.3
S	2.1	1.7	0.6	1.8	58.5	0
G	0.5	0.1	0	0	0.1	76.5
OA	83.5

查看所有表

表 8. 加入均值漂移分割结果③的FCN分类方法的混淆矩阵与总体精度

Table 8. Confusion matrice and overall accuracy of proposedFCN adding segmentation result of mean-shift ③%

Type ofground	B	F	W	R	S	G
B	85.5	1.0	0	18.2	18.9	12.8
F	0.9	79.1	2.0	8.2	12.9	0
W	0	0.6	94.5	2.5	1.2	0
R	8.7	17.8	3.2	68.0	15.3	5.7
S	3.9	1.3	0.3	2.3	51.1	0
G	1.0	0.1	0	0.8	0.7	81.5
OA	79.4

查看所有表

1) 传统的ANN和SVM分类结果均存在“椒盐现象”,而FCN分类方法得到的地物清晰,基本实现了黑盒处理,智能化程度高,输入影像可直接导出分类图,这是传统遥感影像分类在智能程度上无法比拟的。其中ANN与SVM分类方法基本不能对构筑物与建筑、林地与草地进行正确分类;而FCN分类方法基本上能够表达出构筑物与草地的轮廓,这主要得益于深层次CNN强大的数据建模能力,它对高分辨率中复杂的地物信息有着很好的表达。

2) 根据FCN-16、FCN-8实验的分类结果,FCN-16在分类中获得了71.6%的正确率,基本能够得到正确的分类区域,FCN-8获得的结果较为细碎,整体体现出了地物的分类轮廓,但在细节上仍需进行优化。因此本研究融合了更多的浅层与深层信息,同时加入了尺度变换层,使得改进的FCN模型的地物分类效果得到明显改善,主要体现在道路、构筑物、草地分类正确率得到明显提升,减缓了FCN-8中出现的轻微的“椒盐现象”,同时在地物的分类边界上表现得更好。

3) 本研究在改进的FCN模型基础上,在FCN分类结果中加入了全局像素之间的空间关系。实验结果表明,构筑物、草地地类的边缘区域得到了一定改善,总体精度提高了2.6%,而且改进了道路的分类结果,部分细节标注如图7所示,改进后的方法表达出了穿过河流的道路区域。沿着河流两边的道路较细,而河流区域较宽,在反卷积过程中会导致边缘像素概率转移,而通过均值漂移分割加入像素空间关系后能够较好地解决此类问题。总体来说,与FCN-16模型、SVM、ANN方法相比,特别是在构筑物、草地等易混淆的类别上, 影像的分类正确率得到明显提高,而且地物细节较为清晰。

图 7. 部分细节标注图。(a)真实分类图;(b) FCN-16分类结果;(c)加入均值漂移②分割结果的FCN分类结果

Fig. 7. Marked images of some details. (a) True classification image; (b) classification result of FCN-16; (c) classification result of proposed FCN adding segmentation result of mean-shift ②

下载图片查看所有图片

4 结论

将FCN应用于高分辨遥感影像分类,与传统影像分类方法(如SVM、ANN)进行比较后可知,将FCN应用于遥感影像分类能够更好地获取高分辨率影像中地物的本质特征,融合更多浅层细节信息与深层的稳健信息,通过均值漂移分割算法对获得的概率图结果进行边缘优化处理,能够提高FCN对地物的分类精度。

在当前大数据与高性能计算的环境下,本研究是将遥感大数据与FCN应用遥感影像分类的一次尝试,发现了FCN在遥感影像分类中的潜力,未来遥感影像分类将越来越趋向智能化,当今的深度学习网络模型与高性能计算机的出现为遥感影像信息的全自动化提取提供了可能。本课题组的下一步工作将考虑如何将分割算法获得的空间信息融入到网络数据流的计算过程中,比较其他深层网络在遥感影像中的分类效果,寻找深层网络的上限以提高分类精度。

致谢感谢北京国测星绘信息技术有限公司为实验提供硬件设备支持,感谢国家测绘地理信息局卫星测绘应用中心为实验提供数据支持。

参考文献

[1] 孙家柄. 遥感原理与应用[M]. 2版. 武汉: 武汉大学出版社, 2009.

Sun JB. Principles and applications of remote sensing[M]. 2nd ed. Wuhan: Wuhan University Press, 2009.

[2] Cheriyadat A M. Unsupervised feature learning for aerial scene classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 52(1): 439-451.

[3] Luo B, Zhang L. Robust autodual morphological profiles for the classification of high-resolution satellite images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 52(2): 1451-1462.

[4] 李大威, 杨风暴, 王肖霞. 基于随机森林与D-S证据合成的多源遥感分类研究[J]. 激光与光电子学进展, 2016, 53(3): 031001.

Li D W, Yang F B, Wang X X. Multisource remote sensing classification based on random forest and adaptive weighted D-S evidence synthesis[J]. Laser & Optoelectronics Progress, 2016, 53(3): 031001.

[5] 刘大伟, 韩玲, 韩晓勇. 基于深度学习的高分辨率遥感影像分类研究[J]. 光学学报, 2016, 36(4): 0428001.

Liu D W, Han L, Han X Y. High spatial resolution remote sensing image classification based on deep learning[J]. Acta Optica Sinica, 2016, 36(4): 0428001.

[6] KrizhevskyA, SutskeverI, Hinton GE. ImageNet classification with deep convolutional neural networks[C]// Proceedings of the 25 th International Conference on Neural Information Processing Systems , 2012: 1097- 1105.

[7] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(4): 640-651.

[8] 陈洋, 范荣双, 王竞雪, 等. 结合最小噪声分离变换和卷积神经网络的高分辨影像分类方法[J]. 激光与光电子学进展, 2017, 54(10): 102801.

Chen Y, Fan R S, Wang J X, et al. High resolution image classification method combining with minimum noise fraction rotation and convolution neural network[J]. Laser & Optoelectronics Progress, 2017, 54(10): 102801.

[9] 邓曾, 李丹, 柯樱海, 等. 基于改进SVM算法的高分辨率遥感影像分类[J]. 国土资源遥感, 2016, 28(3): 12-18.

Deng Z, Li D, Ke Y H, et al. An improved SVM algorithm for high spatial resolution remote sensing image classification[J]. Remote Sensing for Land and Resources, 2016, 28(3): 12-18.

[10] Yu D, Deng L. Deep learning and its applications to signal and information processing[J]. IEEE Signal Processing Magazine, 2010, 28(1): 145-154.

[11] MikolovT, ZweigG. Context dependent recurrent neural network language model: MSR-TR-2012-92[R]. Miami: 2012 IEEE Spoken Language Technology Workshop, 2012: 234- 239.

[12] 何小飞, 邹峥嵘, 陶超, 等. 联合显著性和多层卷积神经网络的高分影像场景分类[J]. 测绘学报, 2016, 45(9): 1073-1080.

He X F, Zou Z R, Tao C, et al. Combined saliency with multi-convolutional neural network for high resolution remote sensing scene classification[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(9): 1073-1080.

[13] IoffeS, SzegedyC. Batch normalization: accelerating deep network training by reducing internal covariate shift[C]// 32 nd International Conference on Machine Learning , 2015: 448- 456.

[14] SimonyanK, ZissermanA. Very deep convolutional networks for large-scale image recognition[J]. Computer Science:2014arXiv1409. 1556S.

[15] 王更, 王光辉, 杨化超. 融合颜色-纹理模型的均值漂移分割算法[J]. 测绘科学, 2015, 40(8): 108-112.

Wang G, Wang G H, Yang H C. Improved Mean-Shift segmentation algorithm combining with color-texture pattern[J]. Science of Surveying and Mapping, 2015, 40(8): 108-112.

[16] 周家香, 朱建军, 梅小明, 等. 多维特征自适应MeanShift遥感图像分割方法[J]. 武汉大学学报(信息科学版), 2012, 37(4): 419-422.

Zhou J X, Zhu J J, Mei X M, et al. An adaptive MeanShift segmentaion method of remote sensing image based on multi-dimension features[J]. Geomatics and Information Science of Wuhan University, 2012, 37(4): 419-422.

[17] Cheng Y Z. Mean shift, mode seeking, and clustering[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1995, 17(8): 790-799.

方旭, 王光辉, 杨化超, 刘慧杰, 闫立波. 结合均值漂移分割与全卷积神经网络的高分辨遥感影像分类[J]. 激光与光电子学进展, 2018, 55(2): 022802. Xu Fang, Guanghui Wang, Huachao Yang, Huijie Liu, Libo Yan. High Resolution Remote Sensing Image Classification Combining with Mean-Shift Segmentation and Fully Convolution Neural Network[J]. Laser & Optoelectronics Progress, 2018, 55(2): 022802.

结合均值漂移分割与全卷积神经网络的高分辨遥感影像分类 下载： 1435次

1 引言

2 原理与方法

2.1 FCN

2.2 池化层与反卷积层的融合

图 1. FCN的基本结构

Fig. 1. Basic structure of FCN

图 2. 网络结构示意图

Fig. 2. Diagram of network structure

2.3 均值漂移分割原理

图 3. 区域合并示意图

Fig. 3. Diagram of regional consolidation

3 实验结果与分析

3.1 实验数据

图 4. 分类实验流程图

Fig. 4. Flow chart of classification method

图 5. 原始影像与标签数据示例。(a)示例1;(b)示例2

Fig. 5. Original images and tag data examples. (a) Example 1; (b) example 2

3.2 实验结果

3.3 实验分析

表 1. SVM分类方法的混淆矩阵与总体精度

Table 1. Confusion matrice and overall accuracy of SVM classification method%

表 2. ANN分类方法的混淆矩阵与总体精度

Table 2. Confusion matrice and overall accuracy of ANN classification method%

表 3. FCN-16分类方法的混淆矩阵与总体精度

Table 3. Confusion matrice and overall accuracy of FCN-16 classification method%

表 4. FCN-8分类方法的混淆矩阵与总体精度

Table 4. Confusion matrice and overall accuracy of FCN-8 classification method%

表 5. 所提FCN分类方法的混淆矩阵与总体精度

Table 5. Confusion matrice and overall accuracy of proposed FCN classification method%

表 6. 加入均值漂移①分割结果的FCN分类方法的混淆矩阵与总体精度

Table 6. Confusion matrice and overall accuracy of proposed FCN adding segmentation result of mean-shift ①%

表 7. 加入均值漂移②分割结果的FCN分类方法的混淆矩阵与总体精度

Table 7. Confusion matrice and overall accuracy of proposed FCN adding segmentation result of mean-shift ②%

表 8. 加入均值漂移分割结果③的FCN分类方法的混淆矩阵与总体精度

Table 8. Confusion matrice and overall accuracy of proposedFCN adding segmentation result of mean-shift ③%

图 7. 部分细节标注图。(a)真实分类图;(b) FCN-16分类结果;(c)加入均值漂移②分割结果的FCN分类结果

Fig. 7. Marked images of some details. (a) True classification image; (b) classification result of FCN-16; (c) classification result of proposed FCN adding segmentation result of mean-shift ②

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

结合均值漂移分割与全卷积神经网络的高分辨遥感影像分类下载： 1435次