一种基于双特征马尔可夫随机场的图像分割方法 下载: 624次
1 引言
图像分割是数字图像处理、计算机视觉领域中的基本问题之一,在遥感图像分析[1]、场景识别与分割[2]、医学图像分析[3]、目标检测分析[4]等领域中广泛应用。将一幅图像划分成为具有相似特征和属性的不同区域类别就是图像分割的本质,但在实际应用场景中,图像成像噪声、形状不规则性、灰度不均匀性以及物体多样性等因素使得图像分割算法无法对图像进行有效的分割,因此,图像分割算法一直是当前图像处理领域中的研究重点和难题。
2 相关工作
以统计机器学习为基础的图像分割处理技术主要包括有限混合模型(FMM)、均值漂移和概率图模型三种。
1)有限混合模型是一种线性叠加模型[5],受干扰噪声以及背景复杂等因素的影响,同时忽略了像素之间的空间关系,该分割模型的分割效果不是非常好。李鹏等[6]针对烟雾检测问题提出了一种融合卷积神经网络(CNN)与高斯混合模型的检测算法,通过在高斯混合模型中引入形态学来提取运动目标特征,根据卷积神经网络输出概率的阈值来识别烟雾或背景。
2)均值漂移分割算法[7]是为估计概率密度梯度函数而提出的,主要解决复杂多模态的特征聚类识别和特征空间分析等难题,该算法被引入到机器视觉和图像处理领域,但是需要合适的核窗宽和多次迭代计算。
3) MRF (Markov Random Field)模型[8]是基于无向概率图模型的图像分割方法,以图像特征的统计学和先验知识为理论基础,将空间关系和随机变量进行关联,在图像分割中利用后验极大化准则获取图像标号场的最佳后验分布,以实现图像分割。
许多学者提出了一系列改进的MRF分割模型算法,如融合了其他分割算法的混合模型[9]和隐马尔可夫随机场[10],其中隐马尔可夫随机场假设隐藏变量为连续的,且独立同分布,在图像分割中根据先验知识事先设定隐藏标号数目,这种局限性限制了该模型的应用。
近年来,随着深度学习和机器学习在人工智能方面的快速发展,卷积神经网络在图像识别和分割等领域获得了广泛应用并取得了较好的效果。Zhou 等[11]在卷积神经网络的基础上融合朴素贝叶斯数据,提出了一种桥梁裂缝检测方法,虽然该方法能够检测到微小裂缝位置,但是无法提取出裂缝位置。许多学者基于卷积神经网络提出了全卷积神经网络(FCN)算法[12-13],该算法通过对特征进行分类、提取和组合来实现图像的分割。Shelhamer等[14]将端到端的技术引入到全卷积神经网络(FCN),并将全卷积神经网络运用到图像语义分割中。Gamal等[15]采用FCN的思路实现图像分割。上述的卷积神经网络虽然能够完成图像分割和识别作业,但是算法精度在很大程度上取决于网络结构的复杂程度,网络越复杂则参数量越多,这增加了网络对GPU显卡的依赖性,同时,海量的样本数量在实际应用中难以获取。
针对上述分割方法的局限性,本文设计了一个融合灰度和纹理双特征的图像分割算法。该算法通过分析双特征随机场的分布情况来评估图像分类标号后验概率的对应关系。在分析图像像素之间的空间关系后,在待分割图像像素区域内构造目标灰度特征向量;在分数阶微分算子非线性保留图像的边缘轮廓和纹理细节的基础上,将灰度共生矩阵和纹理空间分布引入到图像纹理特征提取中,获取完整的图像纹理数据。使用条件迭代算法对双特征随机场的区域分割目标函数进行优化求解。
3 问题描述
3.1 有理数阶微分的基本定义
分数阶微分算子有R-L定义、Caputo定义和G-L定义三种常用的形式,本文采用G-L形式[16]的分数阶导数定义:
式中:h为时间间隔;f(t)为一元信号,f(t)∈[a,t](a<t,a∈R,t∈R),其中R为实数;G为G-L定义的上标;v为v阶微分运算;a、t分别为一元信号f(t)定积分的下界和上界;m为有理数;Gamma函数Γ(n)=
令h=(t-a)/n,则有n=(t-a)/h,按照步长单位h=1对信号持续区间[a,t]进行等分处理,f(t)的分数阶微分为
为了提高处理效率、缩短边缘检测的时间,通常取(2)式中等号右端前3项算子,得到
式中:D为微分运算符。(3)式的分数阶微分运算系数分别用a0=1、a1=-v、a2=-v(-v+1)/2!来表示,利用分数阶微分算子模板在各个方向上的旋转不变性质,在非中心像素点邻域8个方向上用0填充模板系数,而用在中心像素点8个方向上的分数阶微分运算系数构造各向同性滤波器,所构造的滤波器(5×5模板)如
分数阶微分阶次逐步增大的过程会使得图像的边缘和细节更为突出,但过大的阶次会导致噪声的产生;当分数阶微分阶次过小时,得到的图像效果不佳。本文将分数阶微分阶数拟定为0.5。
3.2 灰度特征随机场模型
将图像分割为K个不同标记区域,用K个高斯分布去进行叠加拟合,则第j个标记区域像素的高斯分布密度函数为
式中:P(·)为表示第i个像素的条件概率;N(·)为高斯分布;y1i为图像的第i个像素灰度特征;xi为描述第i个像素关联区域的隐藏变量;μ1j,Σ1j分别为第j个标记区域的高斯分布概率密度函数的均值、方差,j=1,2,…,K。
3.3 纹理特征随机场模型
为描述图像纹理特征,灰度共生矩阵一共定义了14种统计量,由于部分统计量相关性的存在以及运算量的降低,为了消除冗余纹理特征信息,本文选择熵(Entropy)、能量(Energy)、相关性(Correlation)、对比度(Contrast)以及逆差距(IDM)这5个统计量来描述图像纹理特征,并分别用t1~t5对这5个统计量进行标识,其计算公式如
表 1. 共生矩阵中常用的统计特征
Table 1. Commonly used statistical characteristics in co-occurrence matrix
|
针对图像中第i个像素以及其邻域Ni内的4个邻接像素,选用欧氏距离来描述Ni邻域系统内所有像素的纹理特征向量之间的距离信息,以对像素i与相邻像素的相似度进行评估。用ti表示第i个像素的纹理特征向量,针对像素标号xi=j,像素i的纹理特征向量分布可描述为
式中:y2i为第i像素的纹理特征向量;d为纹理特征向量的维数,此处d=5;μ2j和Σ2j分别为隶属标签类别为j的纹理特征向量观测数据的均值和协方差矩阵。
4 双特征随机场图像分割
对于获取到的图像,假设Ya=[ya1,ya2,…,yaN]是图像的特征向量,a=1时Ya为像素灰度向量,y1i表示第i个像素的灰度值,a=2时Ya为图像纹理特征向量,y2i表示第i个像素的纹理特征值向量,N是像素总数量,图像被分割为K个类别。S={1,2,…,N}为站点集合,x={xi,i∈S}为标号随机场。
4.1 标号后验概率建模
令F1表示图像灰度特征随机场并用f1表示其组态,F2表示图像纹理特征随机场并用f2表示其组态。将标号随机场X的一个组态表示为x,根据贝叶斯理论,标号x的后验概率表示为
根据MRF与Gibbs的等价关系[17]得到先验概率P(x),即
式中:Z为归一化常数;U(x)为能量函数,定义为
式中:
双特征随机场中的变量是独立同分布的,则将(4)式、(5)式代入(6)式,得到
式中:P(x|f1,f2)为双特征随机场模型的标号场后验概率,P(x|f1,f2)达到最大值时像素分配的标号场最为适当,从而将图像分割问题转化为P(x|f1,f2)最大化优化问题:
4.2 目标能量函数建立
灰度特征的混合模型描述为
式中:Θ1为混合模型的参数,
纹理特征的混合模型描述为
式中:Θ2为混合模型的参数,Θ2={w2j,μ2j,Σ2j},j=1,2,…,K;w2j为权值系数,
首先用贝叶斯定理计算给定图像像素yai条件下xi=j的后验概率:
将(11)式和(12)式代入(9)式中,对P(y1i|xi)、P(y2i|xi)取负对数,从而得到双特征MRF目标能量函数:
(14)式为构建的双特征随机场模型,该模型遵循最大后验准则,可提高模型的泛化能力并获取标号的映射,于是 (10) 式转换为
4.3 参数更新
为了更新混合参数,且根据
对(16)式展开求和,λ=-N,因此有
令∂L/∂Σaj=0,∀j∈[1,2,…,K],得到
令∂L/∂μaj=0,∀j∈[1,2,…K],得到
至此,完成图像分割迭代过程中的参数更新。
4.4 算法流程
利用K均值算法对双特征随机场进行参数的初始化操作,获得图像分割的初始状态,然后利用ICM算法进行迭代运算,求解最优标号场。具体分割算法描述如下:
1) 获取图像。利用
2) 初始化。利用K均值算法对双特征随机场进行初始化操作,获得图像分割的初始参数,即观测场图像数据隶属各分类的权值waj、均值μaj和方差Σaj。
3) 利用(14)式目标函数计算当前迭代的标号场
4) 根据目标能量函数最小化准则,利用(17)~(19)式分别更新双特征随机场的权值waj、均值μaj和方差Σaj。
5) 对最大迭代次数进行判断,如果没有达到最大迭代次数,算法跳到步骤3),否则,算法结束。
4.5 算法讨论
图像理解过程通常是从整体的粗糙尺度获取整体概念,随后逐步获取图像的细节要素。图像包含多个特征数据,通过模拟退火技术对多个特征数据进行平衡控制。引入的双特征描述子定义为
式中:F(·)1是特征1的分布模型;F(·)2是特征2的分布模型;α是平衡两个特征之间关系的权重参数,定义为
式中:t为当前迭代次数;c为控制权重变化速度的常数。α随着迭代次数的增加渐近于0,在分割开始时,图像中较大级别纹理变化影响图像全局特征描述的稳定性;在图像分割的后期,局部特征的权重降低,同时全局特征占据主导因素。
5 实验结果与分析
本文样本图像一个是摄像师,另外一个由USI_SIPI纹理图库[18]1.2.05号和1.3.10号两个纹理图像合成,样本图像如
5.1 算法参数对分割结果的影响
算法参数包含分数阶微分算子模板尺寸和温度系数,本节主要验证算法参数对分割结果的影响。在分数阶微分滤波增强中,设置v=0.5,分数阶微分算子模板分别选择3×3、5×5、7×7和9×9;在提取纹理特征时,取0°、45°、90°和135°共4个方向,步长d=1,得到4组灰度共生矩阵,选择数据的统计平均值作为每个像素的最终特征值;双特征随机场模型的温度系数β的范围设置为[0.5,8]。
5.1.1 微分算子参数对分割结果的影响实验
在参数β=0.5条件下,样本图片的分割结果如
图 3. 不同窗口下的分割结果。(a) 3×3;(b) 5×5;(c) 7×7;(d) 9×9
Fig. 3. Segmentation results under different windows. (a) 3×3; (b) 5×5; (c) 7×7; (d) 9×9
5.1.2 温度系数对分割结果的影响实验
对于摄像师和合成图像,分别选用3×3和9×9的分数阶微分算子模板。
图 4. 不同温度系数下的图像分割结果。(a) β=1;(b) β=2;(c) β=4;(d) β=8
Fig. 4. Image segmentation results under different temperature coefficients. (a) β=1; (b) β=2; (c) β=4; (d) β=8
5.1.3 能量变换曲线分析
对摄像师进行图像分割的过程中,在温度系数β=1和模板参数3×3条件下,图像序列能量函数U(x)随迭代次数的变化曲线如
5.2 不同算法图像分割对比实验
5.2.1 分割质量标准
前面的测试实验检验了本文所提出的算法对图像进行分割操作的可能性,本节进行不同算法的对比实验,以杰卡德[19]相似度(RJ)以及分类正确率(RCCR)为衡量标准,对各种分割方法进行定量分析。衡量指标的计算公式为
式中:SA是算法的分割结果;SP是专家手动分割结果;NC是本文算法正确分割的图像像素总数;NT是图像像素总和;RJ和RCCR的取值范围均为0到1,且数值越大,分割效果越明显。
5.2.2 分割结果分析
本实验对不同算法的分割结果进行比较,测试样本图像为摄像师和合成图像,
图 6. 不同算法的分割效果。(a1)(b1) MRF; (a2)(b2) FCN; (a3)(b3) GMM; (a4)(b4) D_MRF
Fig. 6. Segmentation effect of different algorithms. (a1)(b1) MRF; (a2)(b2) FCN; (a3)(b3) GMM; (a4)(b4) D_MRF
MRF分割的结果说明,图像的边缘轮廓上像素点的灰度值和邻域像素点的灰度值具有一定的相关特性,因此,与GMM相比,MRF算法增强了对纹理的分割能力。例如,
D_MRF算法包含了像素灰度值的特征随机场,并引入分数阶微分算子来增强边缘轮廓和纹理细节,同时利用灰度共生矩阵描述图像的纹理特征信息,获取图像的完整观测数据,从而构造一个纹理特征向量的高斯混合模型。可以发现,该算法的分割效果较好,能够基本实现精准的区域分割。
5.2.3 定量比较分析
表 2. 不同算法的结果对比
Table 2. Comparison of results obtained by different algorithms
|
6 结论
详细介绍了一种基于双特征马尔可夫随机场的图像分割方法:1)定义一种基于灰度值和纹理细节的双特征描述,并构建基于双特征观测数据的高斯混合模型;2)定义一种基于观测数据的双特征马尔可夫随机场模型,给出了双特征马尔可夫随机场模型下像素点与标号场对应关系的评估与更新;3)使用条件迭代算法对双特征随机场的区域分割目标函数进行求解。完成了算法参数对分割效果的影响实验以及不同算法的对比实验,实验结果表明所提算法能够实现正确的图像分割,提高了图像分割的鲁棒性和精确性。
[2] 王洋, 朱力强, 余祖俊, 等. 高速铁路场景的分割与识别算法[J]. 光学学报, 2019, 39(6): 0610004.
[4] 李良福, 孙瑞赟. 复杂背景下基于图像处理的桥梁裂缝检测算法[J]. 激光与光电子学进展, 2019, 56(6): 061002.
[5] Hassan M, Murtza I, Hira A, et al. Robust spatial fuzzy GMM based MRI segmentation and carotid artery plaque detection in ultrasound images[J]. Computer Methods and Programs in Biomedicine, 2019, 175: 179-192.
[6] 李鹏, 张炎. 基于高斯混合模型和卷积神经网络的视频烟雾检测[J]. 激光与光电子学进展, 2019, 56(21): 211502.
[7] 王琳, 刘强. 基于局部特征的多目标图像分割算法[J]. 激光与光电子学进展, 2018, 55(6): 061002.
[9] Yang J Z, Lu L, Tan W J, et al. A modified MRF algorithm based on neighborhood spatial information for MRI brain tissue segmentation[J]. Journal of Medical Imaging and Health Informatics, 2017, 7(7): 1525-1530.
[10] Zheng C, Wang L G, Chen X H. A hybrid Markov random field model with multi-granularity information for semantic segmentation of remote sensing imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(8): 2728-2740.
[11] Zhou TX, RuanS, Canu S. A review: deep learning for medical image segmentation using multi-modality fusion[J]. Array, 2019, 3/4: 100004.
[12] 王文秀, 傅雨田, 董峰, 等. 基于深度卷积神经网络的红外船只目标检测方法[J]. 光学学报, 2018, 38(7): 0712006.
[13] 冯晨霄, 汪西莉. 融合特征和决策的卷积-反卷积图像分割模型[J]. 激光与光电子学进展, 2019, 56(1): 011008.
[14] Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651.
[16] 储珺, 余佳佳, 缪君, 等. 引入分数阶微分的局部高斯分布拟合能量模型[J]. 模式识别与人工智能, 2019, 32(5): 409-419.
Chu J, Yu J J, Miao J, et al. Local Gaussian distribution fitting energy model with fractional differential[J]. Pattern Recognition and Artificial Intelligence, 2019, 32(5): 409-419.
[17] Song Y, He B, Zhao Y, et al. Segmentation of sidescan sonar imagery using Markov random fields and extreme learning machine[J]. IEEE Journal of Oceanic Engineering, 2019, 44(2): 502-513.
Article Outline
段明义, 卢印举, 苏玉. 一种基于双特征马尔可夫随机场的图像分割方法[J]. 激光与光电子学进展, 2020, 57(22): 221014. Mingyi Duan, Yinju Lu, Yu Su. Image Segmentation Method Based on Dual Feature Markov Random Field[J]. Laser & Optoelectronics Progress, 2020, 57(22): 221014.