基于U-ASPP-Net的北极独立海冰精细识别方法
下载: 732次
1 引言
北极海冰区域独立海冰识别的准确性对于保证航行安全、规划北极航线和动态修正航线具有重要的指导意义。风云三号卫星MERSI-Ⅱ影像的空间分辨率能达到250 m,相比SAR影像具有幅宽大、重访周期短、成本低的特点,能够提供大面积的冰情信息,是动态识别北极独立海冰的理想数据源。传统的针对光学遥感数据源的海冰识别方法在一定程度上无法较好地区分独立海冰与碎屑冰、小冰和冰水混合的薄冰区,对边缘以及小块独立海冰的分割效果较差,无法识别薄云覆盖下的独立海冰。北极航线作为联系亚洲、欧洲和美洲潜在的最短航线,具有重要的战略价值和航运价值[1]。近年来受到全球变暖的影响,北极的冰面积逐年下降,从1999年到2017年,冰面积已经减少了50%以上,目前只覆盖了不到三分之一的北冰洋[2- 3],极地冰川减少使得北极航线有望全线开通。但北极地区包含大量海冰区域,海冰分布情况复杂,难以预测,极地航线规划中通常会直接绕过海冰区域,但这势必会增加航线的总长度,航行成本随之呈现跳跃式增长。精准区分海冰区域的大型独立海冰、碎屑冰和冰水混合物,结合独立海冰的运动轨迹,根据体积较大的独立海冰提前对航线进行修正,能够更加科学地规划航线,有效地降低航行成本。因此,极地航线海冰区域独立海冰的快速精准识别对极地航线的规划和动态修正具有重要的指导意义。
目前海冰识别研究中应用最广的微波数据是被动微波影像和SAR影像。被动微波影像的空间分辨率相对一般浮冰尺寸而言很低,无法获得精确的海冰细节信息[4]。SAR影像[5]存在斑点噪声,图像粒度较大,解译难度较大,空间分辨率较高,幅宽较窄,重访周期过长,不利于极地航线的短时动态规划。相比微波数据,光学遥感影像具有尺度大、低成本的优势,能够提供大面积的冰情信息,更贴合极地海冰动态识别的应用场景。其中,MODIS数据的可见光与红外通道可以反映海冰的辐射特性,在计算北极海冰覆盖范围和海冰密集度时可以发挥重要作用,已经产生了相对成熟的海冰区域轮廓产品[6]。我国风云三号D星卫星上搭载的中分辨率光谱成像仪(Medium Resolution Spectral Imager-Ⅱ ,MERSI-Ⅱ)[7]在250 m尺度下,性能相比MODIS更加优越,可以提供更精细的海冰信息,更有利于独立海冰的精细化提取。已有学者在研究中给出了风云3号MERSI-Ⅱ影像提取海冰整体分布参数和冰块形态参数的方法,探索了MERSI-Ⅱ影像进行海冰分类的可行性[8]。
传统的海冰识别方法大多依赖于图像灰度信息的分布特征与传统的机器学习方法。其中,Wenbo W[9]将灰度共生矩阵(Gray-Level Co-occurrence Matrix,GLCM)[10]算法应用于SAR数据的海冰分类。周颖[8]提出了分区梯度差分与双峰阈值分割法,从海冰光谱特征和冰块灰度分布特征出发解决了海冰识别的问题。在机器学方法的应用方面,Liu等[11]采用灰度共生矩阵纹理特征基于支持向量机(Support vector machine,SVM)进行海冰分类;沈杨[12]结合马尔科夫随机场 MRF 与 V-SVM 相结合提出了基于MRF-V-SVC的海冰图像分类方法,提高了特征相似区域的分类效果。韩彦岭[13]提出了协同主动学习和半监督学习的CATTSVM分类框架,在少量标签的基础上实现了较高精度的海冰图像分类。赵朝方[14]利用贝叶斯等对比算法等验证了HY-2A/SCAT数据在大尺度海冰图像分类中的有效性。
近年来,深度学习模型在语义分割领域取得了重大突破,得益于卷积结构的灵活性与延展性,卷积神经网络具有优异的特征提取能力,在各项分割任务的表现都超过了传统方法。2014年Jonathan Long等提出的全卷积神经网络(Fully Convolutional Network,FCN)[15]是深度学习在语义分割领域的开山之作。但FCN没有考虑像素与像素之间的关系,缺乏全局信息的指导。为此,Liang ChiehChen等经过几代[16-18]改进提出了Deeplabv3+[19],引入空洞空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)模块,在获取上下文信息的同时抓住了图像细节,在各类数据集上都取得了不错的成绩。但由于网络本身太深,Deeplab v3+在小型数据集上极易过拟合而缺少泛用性。U-Net[20]采用完全对称解码器-编码器结构,对特征图进行了跳跃连接,丰富了图像的细节信息,在小型数据集表现良好,被广泛应用于医疗影像分割。但U-Net不能解决多次降采样与上采样引起的边缘信息丢失问题。
为解决北极区域独立海冰的精细化动态分割问题,本研究基于风云三号卫星MERSI-Ⅱ影像,在经典U-Net的基础上,引入ASPP模块,提出了一种U-ASPP-Net模型,实现了独立海冰的精细化分割。以格陵兰岛东北、西南航道以及西北的窄航道作为实验区,将实验结果与U-Net、Deeplab v3+和分区梯度差分与双峰阈值分割法进行了对比。实验结果表明,本算法在性能上优于其他方法,对细节与边缘的提取能力较强,对极小块海冰的还原度较高。此外,本研究在一定程度上可以抑制薄云对独立海冰提取时的干扰,对薄云下的海冰依然具有良好的提取能力,能够应用于北极航线的动态规划和航线纠正。
1 相关工作
1.1 数据准备
选取我国风云三号D星卫星上搭载的MERSI-Ⅱ L1产品作为数据源。MERSI-Ⅱ是国际上最先进的宽幅成像遥感仪器之一,可以每日无缝隙获取全球250米分辨率真彩色影像,实现云、气溶胶、水汽、陆地表面特性、海洋水色等大气、陆地、海洋参量的高精度定量反演[21]。MERSI-Ⅱ总共有25个探测通道,其中band1-band19是0.4∼2.1 µm的19个太阳反射通道(RSB),band20-band25是3.8∼12.5 µm的6个热发射通道(TEB)。MERSI-Ⅱ的性能指标如
表 1. MERSI-Ⅱ性能指标
Table 1. Performance indicators of MERSI-Ⅱ
|
研究区域位于格陵兰岛东北、西南航道以及西北的窄航道,具体位置如

图 1. 研究区位置 (a)与陆地接壤窄航道中的独立海冰,(b)与薄冰区共存的独立海冰,(c)航道融冰期正常存在的独立海冰,(d)被云覆盖的独立海冰
Fig. 1. Location of research distribution (a)Independent sea ice distribution between narrow waterways bordering land,(b)independent sea ice distribution under thin ice disturbance,(c)normal independent sea ice distribution,(d)independent sea ice distribution under thin cloud disturbance
1.2 基于U-ASPP-Net 的独立海冰精细化分割方法
1.2.1 U-ASPP-Net整体结构
U-Net是一种采用编码-解码结构的语义分割网络,采用了跳跃拼接将来自解码器的高级语义特征图与来自编码器的低级语义特征图进行结合,形成了更具鲁棒性的组合特征。但是这种将语义上并不相似的特征进行纯粹的跳跃拼接的融合手段,并不能解决网络本身设计上由于缺少多尺度特征而引起的语义鸿沟问题,限制了网络对大物体边缘与小物体本身的提取能力。北冰洋的独立海冰分布形态差异巨大,既存在较大的海冰,也存在从大海冰脱落或者消融尾声的极小海冰,直接使用U-Net进行独立海冰提取会导致大块海冰的边缘与极小块海冰本身提取效果较差。针对这一问题,本文结合U-Net、ASPP模块和空洞深度可分离卷积(Atrous Depthwise Separable Convolution,ADSC),提出了一种全新的分割网络U-ASPP-Net。首先,将原U-Net的解码过程的普通双卷积替换为ASPP模块与普通卷积的组合,利用ASPP模块加大感受野、提取多尺度特征的同时,通过普通卷积调和多尺度信息,获得含大量多尺度信息的特征层。其次,将U-Net较深的两个最大值池化层用空洞深度可分离卷积替代,尽可能避免计算参数的增加的同时,减弱了在深层特征提取时由于最大值池化带来的细节特征丢失的影响。在网络后端将FDWloss作为损失函数进行训练,最后利用重叠消边策略拼接生成最终的独立海冰分割图,网络结构如
1.2.2 ASPP模块
ASPP模块是空洞卷积与空间金字塔池化结构的结合,通过并联多个不同扩张率的空洞卷积提取图像的多尺度信息,最后引入全局平均池化(Golbal Average Pooling,GAP)获取图像的全局信息。ASPP模块克服了使用单一空洞卷积时由于网格效应导致的局部信息丢失和远距离信息缺少相关性的缺点,可以在不使用池化层的前提下获取不同尺度特征信息,结构如
1.2.3 空洞深度可分离卷积
深度可分离卷积[22]通过将普通卷积的过程拆分成深度卷积与逐点卷积来达到减少参数量、加速计算的效果。当卷积步长设置为2及以上时,深度可分离卷积就可以起到池化层的作用。本文将原深度可分离卷积中的深度卷积替换成空洞卷积,形成空洞深度可分离卷积。并通过改变空洞卷积的空洞率来改变池化过程中的感受野。空洞深度可分离卷积相比于传统的池化层,优势体现在以下两个方面:1)替换池化层后尽可能避免了计算参数增加的同时,使得新”池化层”可被训练,在训练的过程中性能可以不断优化;2)可通过设置不同空洞率来改变感受野的大小来得到不同分辨率下的特征图,减少了下采样过程中位置信息的丢失。以4通道特征数据为例,空洞深度可分离卷积的卷积过程如

图 4. 空洞深度可分离卷积的卷积过程
Fig. 4. Convolution process of atrous depthwise separable convolution
1.2.4 联合损失函数
不同于常规区域的地物分布,极区航道地物种类相对简单,主要包括海水、裸陆地、冰盖陆地、云与海冰等地物类型。其中,海水分布相对集中,分布特征较为简单,其他地物种类地物形态各异且分布比例悬殊,整体而言,独立海冰在整个实验区图像中占比较少,区分难度较大。样本分布的不均衡导致使用传统的标准交叉熵损失函数(CrossEntropyLoss)进行模型训练时,易分的负样本占了总体loss的大部分。这些loss取值比较小的易分样本累加后,可以淹没占比少但是较难区分的样本,导致模型的性能和优化方向不稳定。
为了解决上述样本不平衡的问题,同时从图像整体角度考虑,本文结合了Focalloss[23]与Dice系数提出了一种联合损失函数
其中
其中
其中
其中
1.2.5 基于重叠消边策略的海冰分割预测分割后处理
遥感影像尺寸较大,通道较多,在研究中通常会对原始图像进行裁剪,采用裁剪后的小图像进行训练和预测。为得到整个实验区的独立海冰分布,需将预测结果按照裁剪顺序拼接还原成最终的结果图像。
一般的裁剪方式是无重叠度地以输入图像块大小为步长进行裁剪,再以无缝拼接的方式将各图像块的输出结果拼接在一起作为最终结果。这种方式下,相邻图像之间的特征信息会产生差异,导致相邻图像的预测结果有差异,拼接后的图像缺少连续性,有明显的拼接痕迹,准确度不够。此外,这种方式也忽略了相邻图像边缘区域的上下文信息,导致边缘区域预测结果缺乏可信度。针对这一问题,本文提出了一种重叠消边的拼接方法。在裁剪图像时,有重叠地将整幅遥感图像裁剪成小块,并在拼接时去除一定比例的边缘部分。如
2 实验与讨论
2.1 数据预处理与增强
MERSI-Ⅱ L1数据采用无符号整型记录观测值,本身没有实际的物理意义,必须经过辐射定标、地理定位、几何校正和坐标系变换等一系列预处理才能转化各类信息,准确地表达图像。从海冰的光谱特征分析,首先,海冰在可见光区的反射率明显高于近红外区,冰面在可见光区反射率一般为0.35∼0.65,而在近红外区仅为0.2[24];其次,在1.55∼1.75
表 2. 海冰数据集通道特性
Table 2. Channel characteristics of sea ice datasets
|
本文选取18幅成像时间,对应场景均不相同的MERSI-Ⅱ L1影像作为实验数据,其中5幅影像作为测试集,13幅影像作为训练集和验证集,并对其分别进行预处理。为了验证算法的有效性和准确性,邀请了海洋与极地研究领域内的专业解译人员对经过预处理之后的研究区影像进行人工解译,并将解译的结果图作为独立海冰提取可参考的真值图,如

图 6. 实验数据示意图(a)海冰数据,(b)海冰数据标签
Fig. 6. Schematic diagram of experimental data (a)schematic of data,(b)schematic of label
为丰富样本量,扩充实验数据规模,本文采用随机重叠度的滑动裁剪方式将所有研究区影像裁剪为192
表 3. 独立海冰数据集分布
Table 3. Distribution of independent sea ice datasets
|
为了验证本文算法在北极海冰提取中的泛化能力,本文所选取的5幅实验区影像覆盖了与陆地接壤窄航道中的独立海冰、与薄冰共存的独立海冰和薄云覆盖的独立海冰等北极航线可能会出现的各类独立海冰场景,如

图 7. 海冰数据测试集缩略图 (a)正常独立海冰分布,(b)薄冰干扰下的独立海冰分布,(c-d)薄云干扰下的独立海冰分布,(e)陆地接壤窄航道中的独立海冰分布
Fig. 7. Thumbnails of test set (a)Normal independent sea ice distribution, (b)independent sea ice distribution under thin ice disturbance, (c-d)independent sea ice distribution under thin cloud disturbance, (e)independent sea ice distribution between narrow waterways bordering land
2.2 精度评价指标
传统研究通常将全局准确率(overall accuracy,OA)和Kappa系数[25]作为遥感影像分割的精度评价指标,本文在保留OA和Kappa系数的基础上,增加了均值交并比 (intersection over union,IOU)和Dice系数两种目前语义分割领域常用的评价指标,更加全面地论证实验结果的准确性和可行性。各个指标都可以通过混淆矩阵进行计算,二分类的混淆矩阵如
OA表示所有判断正确的结果占总体的比重,其计算式定义如
Kappa是用来评价图像分割算法精确度的参数,其计算式定义如
IOU代表图像分割算法某一类别的分割结果和真实值的交集与并集的比值,IOU的值越接近1,表示分割效果越理想,具体计算方法如
Dice系数,是医学图像分割领域常用的评价指标,主要是用来计算分割结果与真实值的相似性。其计算式定义如
2.3 实验环境
实验在Pytorch框架上构建模型,并使用单块NVIDIA 2080 TI GPU对模型进行训练,GPU显存为12G。在模型的训练过程中,初始学习率设置为
2.4 实验结果
首先,本文提出了一种重叠消边的拼接方法,按一定的重叠率将整幅遥感影像裁剪成小块,对裁剪后的小图像进行训练和预测,并在拼接时去除一定比例的边缘部分,得到最终的完整的分割图像。为验证重叠消边的拼接方法的有效性,本文探究了不同重叠度和是否消边对最终预测结果的影响。本文以U-ASPP-Net+FDWLoss的模型预测结果为待拼接图像,共设置了20%,30%,40%,45%,50%,60%,70%,80%八种不同重叠度的裁剪方式,同时对每种重叠度分别进行有消边和无消边两种拼接策略作为对比,以OA、Kappa系数、IOU和Dice系数作为评价指标度量预测结果,以探究重叠消边策略对拼接结果的辅助作用,实验结果如

图 8. 不同重叠度下各个指标的变化趋势图
Fig. 8. The changing trend of each indicator under different overlaps
其次,本文提出了一种联合损失函数
表 5. 基于不同损失函数的U-ASPP-Net模型的独立海冰分割精度对比
Table 5. Comparison of independent sea ice segmentation accuracies of U-ASPP-NET model based on different loss function
|
最后,为了整体验证本文算法的有效性,将U-Net、Deeplab v3+和分区梯度差分与双峰阈值分割相结合法三种图像分割算法作为对比方法,进行独立海冰识别实验。其中,U-Net与Deeplab v3+这两种深度学习算法的各项实验条件均与本文算法一致,训练时使用FDWLoss作为损失函数,在分割后使用45%的重叠度对实验区影像进行有消边地拼接,实验结果如
表 6. 不同独立海冰分割方法的精度对比
Table 6. Comparison of accuracies for segmentation of independent sea ice with different methods
|
海冰识别实验的部分结果图如

图 9. 不同方法的独立海冰分割结果 (a)待分割影像可视化图,(b)人工解译真值图,(c)U-ASPP-Net,(d)U-Net,(e)Deeplab v3+,(f)分区梯度差分与双峰阈值分割法
Fig. 9. Independent sea ice segmentation results by different methods (a)Images to be segmented, (b)manually interpreted images, (c)U-ASPP-Net, (d)U-Net, (e)Deeplab v3+, (f)partition gradient difference and bimodal threshold segmentation algorithm
北极场景中对独立海冰监测干扰最大的就是云雾天气。传统的分区梯度差分与双峰阈值分割法在提取海冰的过程中需要先验的陆地掩模,并计算云指数作为掩模,直接放弃对云下海冰的提取,不利于独立海冰的动态监测。此外由于其分区的特性,当小区域内没有独立海冰分布,但是有碎屑冰、极小冰或者冰水混合的薄冰区时,仍然会计算得到分割阈值,从而把不会影响航道通行的薄冰区错分为独立海冰。针对这两个问题,本文探讨了U-ASPP-Net对薄云下独立海冰提取能力与对薄冰区的剔除能力,并与分区梯度差分与双峰阈值分割法、U-Net和Deeplab v3+对比,识别结果图如

图 10. 抗薄云、薄冰干扰的能力对比 (a)待分割影像可视化图,(b)人工解译真值图,(c)U-ASPP-Net,(d)U-Net,(e)Deeplab v3+,(f)分区梯度差分与双峰阈值分割法
Fig. 10. Comparison of ability to resist interference of thin cloud and sea ice (a)Images to be segmented, (b)Manually interpreted images, (c)U-ASPP-Net, (d)U-Net, (e)Deeplab v3+, (f)partition gradient difference and bimodal threshold segmentation algorithm
3 结论
已有的基于光学遥感数据源的独立海冰分割方法无法较好地区分独立海冰与碎屑冰、小冰和冰水混合的薄冰区,对边缘处的提取效果较差,对小块独立海冰提取能力不强,也不具备对云的抗干扰性。为解决上述问题,本研究基于风云三号卫星影像,构建了全新的分割网络U-ASPP-Net。在网络后端,提出了Focalloss与Dice系数相结合的联合损失函数FDWloss,进一步提升了U-ASPP-Net的分割能力。在独立海冰分割预测过程中,考虑到独立海冰的多尺度性,提出了基于重叠消边策略的独立海冰分割后处理方法,避免了常规预测过程8相邻图像块语义信息断裂导致的整体分割精度下降的现象,并在实验中论证了当重叠度为45%时独立海冰分割效果能够达到最优。本文以格陵兰岛东北、西南航道以及西北的窄航道作为实验区,将实验结果与U-Net、Deeplab v3+和分区梯度差分与双峰阈值分割法进行了对比。实验结果表明U-ASPP-Net从整体上提高了独立海冰的分割准确率,从局部上可以有效提取尺寸极小的独立海冰,对海冰边缘有良好的恢复能力,在一定程度上可以抑制薄云对独立海冰提取的干扰,对薄云下的海冰依然具有良好的提取能力。因此本研究可以为北极航线规划和动态修正提供全面且精准的技术支撑。但是由于实验室硬件条件与海冰数据集本身大小的限制,本文在训练时选取的图像块尺度比较小,没有讨论当前影像分辨率下的最佳裁剪尺度,在一定程度上限制了算法的上限。后续可以考虑扩充数据集或者将模型搬到大型的GPU集群中进行训练以探索独立海冰分割的最佳裁剪尺度。
[1] 吴展开, 王星东, 王成. 利用FY-3卫星MWRI数据探测海冰分布[J]. 测绘通报, 2018, 0(10): 56-60.
WUZhan-Kai, WANGXing-Dong, WANGCheng. Sea ice distribution detection based on FY-3 satellite MWRI data[J]. Bulletin of Surveying and Mapping2018, 0(10): 56-60,65.
[4] 车涛, 高峰, 等译. 雪冰遥感.1st ed.郑州: 黄河水利出版社,2011. 10.1201/9780367801069
Gareth ReesW. Snow and ice remote sensing[M].2011. 10.1201/9780367801069
[5] 刘良明. 卫星海洋遥感导论.武汉: 武汉大学出版社,2005.
LIULiang-Ming. An introduction to satellite ocean remote sensing[M]. Wuhan University Press, 2005.
[12] 沈杨, 郎文辉, 吴杰,等。结合MRF与ν-SVM的SAR海冰图像分类[J].遥感学报,2015,19(5): 844-855.
SHENG Yang, LANG Wen-Hui, WU Jie, et al. Combining MRF and v-SVM for SAR sea ice image classification[J]. Journal of Remote Sensing, 2015, 19(5): 844-855.
[13] 韩彦岭, 赵耀, 周汝雁,等。协同主动学习和半监督方法的海冰图像分类[J].海洋学报,2020, 42(1): 123-135.
HAN Yan-Ling, ZHAO Yao, ZHOU Ru-Yan, et al. Cooperative active learning and semi-supervised method for sea ice image classification[J]. Haiyang Xuebao, 2020, 42(1): 123-135.
[14] 赵朝方, 徐锐, 赵可。基于HY-2A/SCAT数据极地海冰检测方法研究[J].中国海洋大学学报(自然科学版),2019, 49 (10): 140-149.
ZHAO Chao-Fang, XU Rui, ZHAO Ke. Research of polar sea ice detection methods based on JY-2A/SCAT[J]. Periodical of Ocean University of China, 2019, 49(10): 140-149.
[16] ChenL C, PapandreouG, KokkinosI, et al. Semantic image segmentation with deep convolutional nets and fully connected crfs [J]. arXiv preprint arXiv,2014,14127062.
Article Outline
郑付强, 匡定波, 胡勇, 巩彩兰, 黄硕, 李澜, 何志杰. 基于U-ASPP-Net的北极独立海冰精细识别方法[J]. 红外与毫米波学报, 2021, 40(6): 798. Fu-Qiang ZHENG, Ding-Bo KUANG, Yong HU, Cai-Lan GONG, Shuo HUANG, Lan LI, Zhi-Jie HE. Refined segmentation method based on U-ASPP-Net for Arctic independent sea ice[J]. Journal of Infrared and Millimeter Waves, 2021, 40(6): 798.