基于卷积神经网络的混合颗粒分类法研究

蔡杨; 苏明旭; 蔡小舒

doi:doi:10.3788/AOS201939.0712002

光学学报, 2019, 39 (7): 0712002, 网络出版: 2019-07-16

基于卷积神经网络的混合颗粒分类法研究下载： 840次

Method for Mixed-Particle Classification Based on Convolutional Neural Network

论文大纲

蔡杨苏明旭 ^*蔡小舒

作者单位

上海理工大学能源与动力工程学院, 上海 200093

测量颗粒分类卷积神经网络支持向量机 measurement particle classification convolutional neural network support vector machine

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对混合颗粒的分类问题,传统算法多利用颗粒的二值化图像提取其特征,并通过精细的特征设计结合BP神经网络、支持向量机(SVM)等分类器进行分类,但颗粒粘连以及不精确的特征设计都会严重影响分类的准确率。利用卷积神经网络提取颗粒的特征,通过区域建议网络(RPN)搜索颗粒的位置,同时建立分类器,并结合全卷积网络实现像素级的颗粒分割。对由球形、长条形及非规则形颗粒组成的混合流动颗粒体系进行实验研究,结果表明:利用人工特征设计的SVM法可以达到87%的分类精确率和召回率,而基于卷积神经网络的方法则可以达到97%的分类精确率和93%的召回率,并且对于非规则颗粒的数目中位径,该方法不仅可以将分析误差降低11%以上,还避免了传统方法需要精确设计人工特征等的不足,更易形成一个端对端的混合颗粒分类体系,为流动混合颗粒的图像在线分析提供了更加有效的思路。

Abstract

Traditional methods for mixed-particle classification usually extract particle features from binary images. After designing appropriate features according to the particle type, particles can be classified using widely known classifiers, such as back-propagation neural network and support vector machine (SVM). However, classifying touching particles is a challenging, and inappropriate feature design may further reduce the classification accuracy. Herein, a convolutional neural network (CNN) is utilized to extract the features for building mixed-particle image classifiers. In particular, particle locations in an image are determined using a region proposal network. Furthermore, a classifier is designed and combined with a fully convolutional network to achieve pixel-level particle segmentation. Experimental analysis is performed on some flowing-mixed-particle systems comprising spherical, elongated, and irregular particles. According to the analysis results, SVM method using manually designed features can achieve an average precision of 87% and recall of 87%, whereas those of the CNN-based method are up to 97% and 93%, respectively. The latter method can also reduce the analysis error by more than 11% for number median diameter (Dn50) of irregular particles. In addition, several shortcomings in traditional methods, such as the need for manually designed features are solved, making it easier to build an end-to-end system for effective real-time image analysis of flowing mixed particles.

1 引言

颗粒特性研究在工业生产及环境检测等方面具有非常重要的意义。混合颗粒系作为一种常见的颗粒存在体系,其分析往往较单一颗粒系更为复杂,对于具有一定形状或纹理特征的混合颗粒,如何获取每种颗粒的粒径分布或形状信息至关重要。例如,机械润滑系统中通常含有不同形状的磨损颗粒,其特性可以间接反映机械运转状态,对润滑油中的磨损颗粒进行分类可以更好地对机械进行摩擦诊断^[1-5]。此外,颗粒在团聚过程中会形成团聚颗粒和单个颗粒的混合颗粒系,对其进行分类就可以得到颗粒系的团聚度,进而对结晶过程中的晶体团聚和生长加以区分^[6-7]。在一些药品加工过程中,可通过制作薄膜包衣来改善药物颗粒的性能,而颗粒的团聚度会严重影响包衣的质量,因此团聚度的获取具有重要意义^[8-10]。在对颗粒系进行分析时,经常会受到气泡和杂质颗粒的干扰,从而严重影响了颗粒系特征分析的准确性。

经典的混合颗粒分类问题依托于颗粒特征和分类器的设计,而颗粒特征设计则建立在基本的图像处理算法上,通过预处理去除图像噪声,之后对图像进行二值化、图像形态学处理以及粘连颗粒分割,进而提取颗粒特征,形成一系列的特征描述子作为分类器的输入。通常分类器主要采用线性判别因子分析(DFA)或非线性神经网络以及支持向量机(SVM)等对不同类别的颗粒进行分类,这种结合特征设计的混合颗粒分类过程作为先前主流的方法,不少学者对此进行了研究^[11-13]。Yuan等^[1]根据颗粒的外轮廓建立了一种径向凹偏差特征描述子,并结合线性判别分析(LDA)以及分类回归树(CART)等算法对磨损颗粒的分类问题进行了探究;Heisel等^[7]通过建立颗粒的特征描述子,并利用判别因子分析和人工神经网络方法对含有聚合晶体、单个晶体以及气泡的混合颗粒进行了对比研究。在其他的混合颗粒分类中,同样有大量基于特征和分类器设计的研究方法^[14-15],但此类方法的不足之处在于难以准确地提取颗粒特征。因为颗粒图像处理常常会受到光照、噪声、颗粒粘连等因素的影响。此外,颗粒特征描述子也难以准确设计,并会受到特征不足或特征冗余的干扰,造成分类器欠拟合或过拟合,大大降低了分类的准确率。卷积神经网络(CNN)是一种深度神经网络,其完全自动的特征提取避免了人工特征设计的不确定性和繁杂性,通过结合分类器以及与全卷积神经网络的融合,可以实现分类和像素分割等任务^[16-21]。目前,鲜有对于混合颗粒的分类,尤其是对颗粒进行像素级的分割应用的研究。

本文首先介绍了混合颗粒分类的基本方法,然后引入基于CNN的颗粒分类和分割方法,对由球形、长条形颗粒以及非规则颗粒组成的三种混合颗粒样品进行循环流动实验,同时对采集到的颗粒图像进行分类分析,并结合颗粒的粒径分布以及长宽比特征对不同的分类方法进行对比研究。

2 混合颗粒分类的基本方法

传统算法在对混合颗粒进行分析时,主要考虑颗粒特征及分类器的设计,常见分类器包括BP(back propagation)神经网络以及SVM等。SVM是一种基于小样本学习的模式识别方法,在保证正确分割正、负样本的前提下,根据最大化支持向量到分割超平面的距离来分割正、负样本。对于颗粒特征设计,则主要考虑如下两方面:选取不同类别间差距较大的特征,以提高分类效果,降低错分的概率;特征过多会增加计算的复杂度,分类结果不易收敛,分类效率降低。因此在保证正确分类的情况下,应尽量减少特征数,尤其是避免使用相似特征。两类特征描述子如表1所示,类别1的颗粒尺寸有量纲,当不同类别的颗粒尺寸相差较大时,可考虑此类特征;当颗粒尺寸分布有交叉,或涉及图像缩放等影响因素时,可采用类别2的无量纲特征,其主要描述颗粒的形状特征。

表 1. 颗粒的特征描述子

Table 1. Feature descriptors of particles

Parameter	Symbol	Description	Category
Perimeter	P	The distance around the boundary of the region
Area	A	The actual number of pixels in the region
Equivalent diameter	D_eq	D_eq=2 $\sqrt[]{\frac{A}{π}}$	1
Major axis	L	The major axis of the external ellipse
Minor axis	S	The minor axis of the external ellipse
Circularity	C	C= $\frac{P}{2 \sqrt[]{A \cdot π}}$
Aspect ratio	A_R	The aspect ratio of minimum bounding rectangle
Boundary irregularity	B_irr	B_irr=2π $(\frac{\sqrt[]{A}}{P} - \sqrt[]{\frac{L^{2} + S^{2}}{2 LS}})$	2
Uniformity	U	The ratio of the outer rectangle to the outer convex polygon
Angular point	A_P	The number of concave and convex points

查看所有表

3 基于CNN的混合颗粒分类方法

3.1 网络结构

图 1. 混合颗粒分类的CNN结构

Fig. 1. CNN structure of mixed-particle classification

下载图片查看所有图片

3.2 网络结构优化

考虑到混合颗粒的特征相对简单,同时为了提高模型的预测效率,对ResNet-101的conv3_x和conv4_x的结构配置进行调整,如表2所示。Conv3_x中包含3个卷积块,每块又有3个卷积层组成,卷积核大小依次为1×1、3×3和1×1,对应的卷积核数目分别128、128和512;类似地,conv4_x有20个卷积模块,两者相对原始结构分别减少了1个和3个卷积块。为了防止模型出现过拟合,笔者在最后的全连接层部分添加了dropout层来抑制颗粒的特征提取,并选取阈值为0.5,以防止模型训练时出现过拟合,而在实际模型测试阶段则只保留全连接层。

表 2. conv3_x和conv4_x的结构配置

Table 2. Structure configurations of conv3_x and conv4_x

Stage	Output size /(pixel×pixel)	Block structure	Block count
conv3_x	28×28	$[\begin{array}{l} 1 \times 1 & 128 \\ 3 \times 3 & 128 \\ 1 \times 1 & 512 \end{array}]$	3
conv4_x	14×14	$[\begin{array}{l} 1 \times 1 & 256 \\ 3 \times 3 & 256 \\ 1 \times 1 & 1024 \end{array}]$	20

查看所有表

3.3 RPN网络和FCN网络

RPN网络主要用于生成目标建议框的集合,通过定义不同尺寸的滑动窗,在原图上映射得到不同的候选区域,通过分类层输出候选区的得分来确定区域为目标还是背景,并对锚框(anchor)的位置和尺寸进行精调,最终获得目标建议框,如图2所示。

由于在主干网络上得到了不同尺度的特征层,所以对不同层的特征图定义不同尺寸的锚框,锚框有3种不同的比例:1∶1、1∶2和2∶1。此外,如果最终的锚框互相重叠,则保留前景分数最高者,并通过非极大值抑制法过滤其余锚框。

图 2. RPN网络结构。(a)锚框尺度设置;(b)锚框比例设置

Fig. 2. RPN network structure. (a) Anchor frame scale setting; (b) anchor frame ratio setting

下载图片查看所有图片

通过RPN网络可初步确定目标框的位置,但并不能判定物体的类别。为此,在通过RPN获得感兴趣区域(ROI)的基础上,利用分类器进一步判定ROI中的物体类别,并通过回归器进一步精调边框的位置和尺寸。除了对ROI内目标进行分类和边界框回归外,笔者将全卷积网络^[26](FCN)用于颗粒二值化图像的预测上。FCN主要对ROI分类器的前景目标进行反卷积,使其恢复到原始尺寸,进而获取颗粒的二值化图像。将主干网络划分为多个具有不同分辨率的特征层,因此不同的ROI和特征层间存在一个对应关系:

K = [K_{0} + lo g_{2} (\sqrt[]{w h} / 224)], (1)

式中:K₀为基准值;w和h分别为ROI区域的宽和高。由此可以通过ROI的尺寸决定所采用的特征层。

3.4 Loss函数

总体的损失函数L由3部分组成,即分类损失(L_cls)、边界框的回归损失(L_box)和二值图的分割损失(L_mask):

L = L_{cls} + L_{box} + L_{mask}, (2)

其中L_cls和L_box的定义与Faster R-CNN相同,即

\begin{array}{l} L_{cls} (p_{i}, p_{i}^{*}) = - lo g_{2} [p_{i}^{*} p_{i} + (1 - p_{i}^{*}) (1 - p_{i})], (3) \\ L_{box} (t_{i}, t_{i}^{*}) = R (t_{i} - t_{i}^{*}), (4) \\ R (x) = \{\begin{array}{l} 0.5 x^{2}, & if | x | < 1 \\ | x | - 0.5, & otherwise \end{array} 。 (5) \end{array}

式中:p_i表示锚框为第i类的概率,若锚框的标签为正,则 ${p^{*}}_{i}$ =1,否则置0;t_i为预测目标边界框的4个参数化坐标; $t_{i}^{*}$ 为真正目标区域边界框的坐标向量。对于二值图像预测的分支,其在每个ROI上会输出k个分辨率为m×m的二值图像(k为类别数),通过对每一个像素应用sigmoid函数,然后取ROI上所有像素的交叉熵平均值为L_mask,对于一个属于第k个类别的ROI,L_mask仅仅考虑第k个二值图,所以允许对每个类别都生成二值图,并且不会存在类间竞争。

3.5 算法流程及参数优化

混合颗粒分类的算法流程如图3所示,训练集图像由修改后的ResNet-101和FPN进行特征提取,通过RPN网络获取颗粒的目标框,然后利用ROIAlign进行特征池化,最后计算总体的损失,训练至最大迭代次数时结束。考虑到相机采集的图像太大,为了加快训练和测试速度,在不影响颗粒分辨率的情况下,统一将图像缩放至612 pixel×512 pixel,同时每张图像中用于分类的锚框上限定为500(一般情况下颗粒的分布密度均低于此数值)。另外,为了防止最终的目标候选框太多,进行非极大值抑制,并将阈值设为0.7。对学习率进行分析,较小的学习率往往使得模型的收敛缓慢,甚至难以收敛,而当学习率过大时,模型通常会陷入局部最优解,或者出现无解的情况,分别将学习率设为0.0001、0.001、0.01以及0.1进行了模型测试,发现当学习率为0.001时模型的收敛效果最好。

图 3. 混合颗粒的分类算法流程

Fig. 3. Flow chart of mixed-particle classification algorithm

下载图片查看所有图片

4 实验及结果分析

为了探讨CNN混合颗粒分类法的效果,设计了相应的混合颗粒循环流动系统,并进行了实验研究。实验中采用的混合颗粒由球形颗粒、长条形颗粒和非规则颗粒组成,如图4所示。

为对后续的分类结果进行定量分析,定义精确率(R_precision)和召回率(R_recall)为

\begin{array}{l} R_{precis ion} = \frac{N_{true}}{N_{predict}}, (6) \\ R_{recall} = \frac{N_{true}}{N_{all}}, (7) \end{array}

式中:N_true为预测正确的颗粒数;N_predict为所有检出的颗粒数;N_all为图像中的总颗粒数,包括未检出的颗粒数。由(6)式和(7)式可知,精确率反映了模型的分类效果,而召回率则综合考虑了模型的分类效果和漏检情况。

图 4. 不同类型的颗粒。(a)球形颗粒;(b)长条形颗粒;(c)非规则颗粒

Fig. 4. Examples of different types of particles. (a) Spherical particles; (b) elongated particles; (c) irregular particles

下载图片查看所有图片

4.1 实验装置

设计了如图5所示的实验装置来获得混合颗粒的动态图像,硬件包括CCD相机、可调光强的卤素灯、光纤、蠕动泵,以及用于流动观测的样品池和存储颗粒图像的计算机。采用GS3-U3-50S5M-C工业相机,其传感器靶面的尺寸为8.8 mm×6.6 mm,配置了2倍的放大镜头。实验中,相机和光源均采用背光式布置,即相机和光源位于同一水平轴的样品池两侧,混合颗粒样品事先置于盛有蒸馏水的烧杯中,并通过蠕动泵实现循环流动,CCD相机对样品池测量区进行实时拍摄,混合颗粒图像保存于计算机中用于后续数据集处理。

图 5. 混合颗粒测量系统

Fig. 5. Measuring system of mixed particles

下载图片查看所有图片

4.2 数据集预处理

通过上述实验装置实时采集混合颗粒的图像,并根据模型参数测试需要,选择400张用于后续的训练与分析,其中训练集为300张图片,测试集为100张图片。在CNN方法中,需要获得颗粒的二值图像,并标注每张图片中的颗粒类别。而在SVM法中,要在二值图像的基础上提取颗粒特征,并标注颗粒类别。为此,对所有图片均作如图6所示的处理。

图 6. 图像处理流程

Fig. 6. Flow chart of image processing

下载图片查看所有图片

如图6所示,对于采集到的图像,首先利用维纳滤波消除图像中的干扰噪声,然后进行二值化处理。常用的二值化方法为最大类间方差(OTSU)法^[27],它是基于全局最优阈值的方法,但对于光照背景不均匀情形的处理效果很差,因此本实验主要采用自适应阈值分割方法,通过高斯滤波窗口获取每个窗口的背景阈值,然后根据局部阈值实现颗粒图像的二值化,即:

I_{BW} = I_{m} < I_{Gauss} \times (1 - \frac{t}{100}), (8)

式中:I_BW为最终的二值矩阵;“<”为图像矩阵对应元素的逻辑运算,即逻辑为真对应于1,相反则为0;I_m为颗粒图像的灰度矩阵;t为区分前景和背景的局部阈值,可在-20和20之间取值,根据实验,本文取t=15;I_Gauss为对I_m进行高斯滤波后的图像矩阵。高斯滤波方形窗口的尺寸为

f_{size} = floor [\frac{f_{length} (I_{m})}{20}], (9)

式中:f_size为滤波窗口的尺寸;f_length(I_m)为求图像短边长度的函数式;floor(·)为向下取整函数。还需要对获得的二值图像进行孔洞填充,以及用分水岭(watershed)算法^[28]对粘连颗粒进行分割等操作。由于分水岭算法并不能实现对颗粒的完全分割,所以需要采用精细的手动分割操作,以得到相对精确的颗粒二值图像。如图7所示,二值图采用彩色标记图的形式表示,在此基础上进行特征提取和颗粒类别标注,鉴于实验中三类颗粒的尺寸分布较宽且有交叉,这里主要选取表1中的类别2特征进行SVM的训练和测试。

图 7. 不同方法处理后混合颗粒的图像。(a)混合颗粒;(b)维纳滤波;(c)二值化和孔洞填充;(d) watershed分割;(e)手动精分割

Fig. 7. Images of mixed particles processed by different methods. (a) Mixed particles; (b) Wiener filtering; (c) binarization and hole filling; (d) watershed segmentation; (e) manually fine segmentation

下载图片查看所有图片

4.3 结果分析

根据训练集数据对模型进行训练,分析基于SVM法和CNN的混合颗粒分类方法,从颗粒分类准确度和颗粒特征分布两方面对结果进行评估。针对粘连颗粒,同时探究分水岭法和手动分割方法对SVM法分类的影响。对测试集进行分析得到如图8所示的颗粒数目分布,其中SVM_1表示特征提取时采用人工分割方式,SVM_2则表示利用分水岭算法分割粘连颗粒。对比三类颗粒总数后可知,CNN法得到的颗粒总数相对偏少,SVM_2则偏多,这是因为CNN法需要搜索颗粒的位置,存在漏检情况。此外,SVM_2存在过分割现象,尤其是对于长条形颗粒,会造成非规则颗粒数目增长。相比之下,CNN和SVM_1预测的三类颗粒数目的占比都比较接近实际值。此外,对不同分类方法的精确率和召回率进行对比,如图9所示,其中纵坐标为小于当前准确率的图片数量占测试集图片数量的比例。对于SVM_1法,由于其采用手动分割的二值图像,所以N_predict和N_all相等,精确率和召回率也相等。对于测试数据集,通过计算不同分类方法下所有测试图片的精确率和召回率,可以得到SVM_1法的平均精确率和召回率均为87%,而CNN法则分别为97%和93%。从图9可以看出CNN法的精确率和召回率都高于SVM_1法,而根据图8中预测的颗粒数分布,SVM_1法比CNN法更接近实际值,表明SVM_1法存在较高的误检率。对比CNN法的精确率和召回率可以发现,精确率明显高于召回率,这是因为CNN法在保持较高分类精确率的同时,也存在一定的漏检现象,但从总体看,CNN法具有更高的测量准确率。

图 8. 不同分类方法得到的颗粒计数结果

Fig. 8. Particle counting results obtained by different classification methods

下载图片查看所有图片

图 9. 不同分类方法的检测准确率

Fig. 9. Detection accuracy of different classification methods

下载图片查看所有图片

除了混合颗粒的数目分布关系外,颗粒的粒径分布也是描述混合颗粒的重要参数。通常混合颗粒的总体粒径分布难以反映每种颗粒的特性,为此,在分类基础上同时探究每种颗粒的粒径分布,如图10所示,采用CNN、SVM_1、SVM_2模型分别得到每种颗粒粒径的累积分布,并与实际值进行对比。图10纵坐标为小于当前粒径的颗粒数量占测试颗粒总数的比例,可见,这三类颗粒的粒径分布曲线存在明显的交叉,即仅仅通过粒径难以对混合颗粒的类别进行区分。对于球形颗粒,三种模型预测的粒径分布类似,大部分颗粒的粒径略小于实际值,但是偏差均在5 μm以内,如表3所示(D_n10、D_n50、D_n90分别表示颗粒数目累积概率达到10%、50%、90%时对应的颗粒粒径)。可见:虽然两种SVM法获得的D_n90都优于CNN法,但由粒径分布可发现其远偏离实际情况;对于SVM_1和SVM_2法,存在一部分超越实际最大值的颗粒粒径,这是由其他两种形状的大颗粒被误检为球形颗粒导致的;相比于非规则颗粒和长条形颗粒,CNN法得到的粒径分布均与实际值比较吻合,而SVM_1和SVM_2法得到的粒径都小于实际值,尤其是非规则颗粒,从表3可以发现,这两种方法得到的D_n50和实际值的误差均超过11%,由此可知其对非规则颗粒具有较大的误检率。对比SVM_1法和SVM_2法可以发现,SVM_2法对长条形和非规则颗粒分析得到的结果小于SVM_1,主要表现在D_n50以下的粒径分布,部分可达5 μm以上的差别。由于SVM_2采用分水岭法的颗粒分割方式,与人工分割相比,会存在一定的过分割误差,部分非规则颗粒和长条形颗粒会被分割成小颗粒,从而使得粒径较小的非规则颗粒和长条形颗粒增多,进而使得D_n50以下的曲线向左偏移。此外,表3中还列出了利用BP神经网络得到的粒径结果,它采用与SVM_1相同的特征输入,对比三类颗粒的特征粒径可以发现其准确率远不如SVM_1,存在较大的分类误差。

图 10. 不同分类方法得到的颗粒的当量直径累积分布

Fig. 10. Cumulative distributions of equivalent diameters of particles obtained by different classification methods

下载图片查看所有图片

表 3. 不同分类方法得到的颗粒的测量尺寸

Table 3. Particle sizes measured by different classification methods

Method	Diameter of spherical particles /μm				Diameter of irregular particles /μm			Diameter of elongated particles /μm
Method	${D_{n}}_{10}$	${D_{n}}_{50}$	${D_{n}}_{90}$		${D_{n}}_{10}$	${D_{n}}_{50}$	${D_{n}}_{90}$	${D_{n}}_{10}$		${D_{n}}_{50}$	${D_{n}}_{90}$
Ground truth	111.9			122.5					131.1			98.5	136.4	172.9	74.4	96.0	137.6
CNN	110.0			118.5					126.8			103.3	136.4	171.2	74.3	95.8	135.9
SVM_1	110.0			117.2					129.7			84.6	120.9	160.4	73.3	94.4	138.4
SVM_2	110.5			117.3					131.3			75.7	117.8	159.4	69.7	93.2	139.0
BP	105.3			116.1					137.3			84.2	112.0	157.7	76.0	101.1	147.4

查看所有表

由上述的分析可以发现,除了CNN法,其他两种方法均存在较明显的粒径分析误差,同时也会影响颗粒的形状参数,如图11~13所示。CNN法得到的三种颗粒的长宽比分布都接近于实际分布。对于长条形颗粒,SVM_1法得到的长宽比偏大,因为较小长宽比的长条形颗粒可能会被错分成非规则颗粒,从而使得SVM_1法预测的长条形颗粒均保持在较高的长宽比水平。这实际也反映了基于特征设计法的颗粒分类模型的一个弊端,即当不同类型的颗粒特征存在交叉时,就容易产生一定的误差,尤其是当颗粒的特征非常相似时。这同样体现在非规则颗粒的长宽比分布上,由图13可以发现SVM_1法基本上没有得到长宽比大于2的颗粒,因为长宽比较高的非规则颗粒会被误检为长条形颗粒。相比之下,SVM_2法受到颗粒过分割的影响,长宽比分布会产生一个向左的偏移,导致其更加接近实际分布,但是根据前述得到的数目分布和粒径分布结果,SVM_2法的结果与实际值的偏离程度最大,由此也可以发现混合颗粒的表征需要综合多方面的特征信息,单一的特征表述会造成混合颗粒分析的偏差。值得注意的是,实验中存在一些处于图像边界的球形颗粒,所以其长宽比会比正常的球形颗粒大,但这依然没有影响CNN法的检测效果,反而在SVM_1法中,其会被归为其他的类别,从图12可以发现,SVM_1法未能检测出部分长宽比较大的球形颗粒。

图 11. 不同分类方法得到的长条形颗粒的长宽比累积分布

Fig. 11. Cumulative distributions of aspect ratios for elongated particles obtained by different classification methods

下载图片查看所有图片

图 12. 不同分类方法得到的球形颗粒的长宽比累积分布

Fig. 12. Cumulative distributions of aspect ratios for spherical particles obtained by different classification methods

下载图片查看所有图片

图 13. 不同分类方法得到的非规则颗粒的长宽比累积分布

Fig. 13. Cumulative distributions of aspect ratios for irregular particles obtained by different classification methods

下载图片查看所有图片

综合上述分析可以发现,CNN法从颗粒分类的准确率、颗粒粒径分布和长宽比分布几个方面均表现出优于SVM_1法和SVM_2法的效果,其中SVM_2法仅仅因为粘连分割的问题,就出现了比SVM_1法更高的误检率,而实际中SVM法还会受到光照和噪声等因素的干扰,从而在连续分析中积累更多的误差。相比之下,CNN法对流动颗粒的分析上具有更多优势,其优异的特征表达能力比人工特征设计更加准确,并且受上述因素的干扰较小,可以同时兼顾颗粒的局部和全局特征。

5 结论

研究了图像法中混合颗粒的模式识别问题,在传统的基于人工特征设计的SVM法基础上,引入基于CNN法的混合颗粒分类方法,通过实验得到了球形、非规则和长条形混合颗粒的流动图像,建立了相应的训练数据集和测试数据集,同时从数目分布、分类准确率以及颗粒的粒径、长宽比等方面进行了对比分析。

首先建立了两类颗粒特征描述子,并利用无量纲的描述子作为SVM法的特征向量,同时根据粘连颗粒的分割方式建立了SVM_1法和SVM_2法,结果发现SVM_1法比SVM_2法获得了更好的分类结果,说明SVM法的准确率依赖于准确的特征提取,而在分析混合颗粒时会受到光照和噪声的干扰,分类误差甚至大于SVM_2法。混合颗粒的表征需要结合多方面特征,对于分类模型评估也不能根据单一特征的分布决定其好坏,综合颗粒数目分布、分类准确率、粒径分布和长宽比分布特征建立更加有效的分析模型,形成了相对全面的混合颗粒特征,避免了采用单一特征造成的偏差。此外,基于CNN法的混合颗粒分析模型的各个特征分析结果均优于SVM法,可更全面准确地分析混合颗粒;同时,CNN法无需进行人工特征设计,并有效克服了图像中粘连颗粒等的干扰,形成了相对准确的端对端混合颗粒分析系统。

参考文献

[1] YuanW, Chin KS, HuaM, et al. Shape classification of wear particles by image boundary analysis using machine learning algorithms[J]. Mechanical Systems and SignalProcessing, 2016, 72/73: 346- 358.

[2] Peng YP, Wu TH, Cao GZ, et al. A hybrid search-tree discriminant technique for multivariate wear debris classification[J]. Wear, 2017, 392/393: 152- 158.

[3] Stachowiak G P, Stachowiak G W, Podsiadlo P. Automated classification of wear particles based on their surface texture and shape features[J]. Tribology International, 2008, 41(1): 34-43.

[4] Hong W, Cai W J, Wang S P, et al. Mechanical wear debris feature, detection, and diagnosis: a review[J]. Chinese Journal of Aeronautics, 2018, 31(5): 867-882.

[5] Raadnui S. Wear particle analysis: utilization of quantitative computer image analysis: a review[J]. Tribology International, 2005, 38(10): 871-878.

[6] Terdenge L M, Heisel S, Schembecker G, et al. Agglomeration degree distribution as quality criterion to evaluate crystalline products[J]. Chemical Engineering Science, 2015, 133: 157-169.

[7] Heisel S. Kova evi T, Briesen H, et al. Variable selection and training set design for particle classification using a linear and a non-linear classifier [J]. Chemical Engineering Science, 2017, 173: 131-144.

[8] Mehle A, Kitak D, Podrekar G, et al. In-line agglomeration degree estimation in fluidized bed pellet coating processes using visual imaging[J]. International Journal of Pharmaceutics, 2018, 546(1/2): 78-85.

[9] Wang J D, Cao Y J, Jiang X J, et al. Agglomeration detection by acoustic emission (AE) sensors in fluidized beds[J]. Industrial & Engineering Chemistry Research, 2009, 48(7): 3466-3473.

[10] Sheahan T, Briens L. Passive acoustic emissions monitoring of the coating of pellets in a fluidized bed: a feasibility analysis[J]. Powder Technology, 2015, 283: 373-379.

[11] Iacoviello F. Iacoviello D, di Cocco V, et al. Classification of ductile cast iron specimens based on image analysis and support vector machine[J]. Procedia Structural Integrity, 2017, 3: 283-290.

[12] Ajdadi F R, Gilandeh Y A, Mollazade K, et al. Application of machine vision for classification of soil aggregate size[J]. Soil and Tillage Research, 2016, 162: 8-17.

[13] Stachowiak G W, Podsiadlo P. Towards the development of an automated wear particle classification system[J]. Tribology International, 2006, 39(12): 1615-1623.

[14] Zhang Y, Liu J J, Zhang L, et al. Particle shape characterisation and classification using automated microscopy and shape descriptors in batch manufacture of particulate solids[J]. Particuology, 2016, 24: 61-68.

[15] Lee H. Chen Y P P. Cell morphology based classification for red cells in blood smear images[J]. Pattern Recognition Letters, 2014, 49: 155-161.

[16] Calderon C P, Daniels A L, Randolph T W. Deep convolutional neural network analysis of flow imaging microscopy data to classify subvisible particles in protein formulations[J]. Journal of Pharmaceutical Sciences, 2018, 107(4): 999-1008.

[17] Chaves D, Fernández-Robles L, Bernal J, et al. Automatic characterisation of chars from the combustion of pulverised coals using machine vision[J]. Powder Technology, 2018, 338: 110-118.

[18] Vogado L H S, Veras R M S, Araujo F H D, et al. . Leukemia diagnosis in blood slides using transfer learning in CNNs and SVM for classification[J]. Engineering Applications of Artificial Intelligence, 2018, 72: 415-422.

[19] Raitoharju J, Riabchenko E, Ahmad I, et al. Benchmark database for fine-grained image classification of benthic macroinvertebrates[J]. Image and Vision Computing, 2018, 78: 73-83.

[20] 冯小雨, 梅卫, 胡大帅. 基于改进Faster R-CNN的空中目标检测[J]. 光学学报, 2018, 38(6): 0615004.

Feng X Y, Mei W, Hu D S. Aerial target detection based on improved faster R-CNN[J]. Acta Optica Sinica, 2018, 38(6): 0615004.

[21] 杜剑, 胡炳樑, 张周锋. 基于卷积神经网络与显微高光谱的胃癌组织分类方法研究[J]. 光学学报, 2018, 38(6): 0617001.

Du J, Hu B L, Zhang Z F. Gastric carcinoma classification based on convolutional neural network and micro-hyperspectral imaging[J]. Acta Optica Sinica, 2018, 38(6): 0617001.

[22] Ren S Q, He K M, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[23] He KM, GkioxariG, DollárP, et al. Mask R-CNN[C]//2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. New York: IEEE, 2017: 2980- 2988.

[24] He KM, Zhang XY, Ren SQ, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE, 2016: 770- 778.

[25] Lin TY, DollárP, GirshickR, et al. Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE, 2017: 936- 944

[26] Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651.

[27] Vala H J, Baxi A. A review on Otsu image segmentation algorithm[J]. International Journal of Advanced Research in Computer Engineering & Technology, 2013, 2(2): 387-389.

[28] Vincent L, Soille P. Watersheds in digital spaces: an efficient algorithm based on immersion simulations[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 13(6): 583-598.

蔡杨, 苏明旭, 蔡小舒. 基于卷积神经网络的混合颗粒分类法研究[J]. 光学学报, 2019, 39(7): 0712002. Yang Cai, Mingxu Su, Xiaoshu Cai. Method for Mixed-Particle Classification Based on Convolutional Neural Network[J]. Acta Optica Sinica, 2019, 39(7): 0712002.

基于卷积神经网络的混合颗粒分类法研究 下载： 840次

1 引言

2 混合颗粒分类的基本方法

表 1. 颗粒的特征描述子

Table 1. Feature descriptors of particles

3 基于CNN的混合颗粒分类方法

3.1 网络结构

图 1. 混合颗粒分类的CNN结构

Fig. 1. CNN structure of mixed-particle classification

3.2 网络结构优化

表 2. conv3_x和conv4_x的结构配置

Table 2. Structure configurations of conv3_x and conv4_x

3.3 RPN网络和FCN网络

图 2. RPN网络结构。(a)锚框尺度设置;(b)锚框比例设置

Fig. 2. RPN network structure. (a) Anchor frame scale setting; (b) anchor frame ratio setting

3.4 Loss函数

3.5 算法流程及参数优化

图 3. 混合颗粒的分类算法流程

Fig. 3. Flow chart of mixed-particle classification algorithm

4 实验及结果分析

图 4. 不同类型的颗粒。(a)球形颗粒;(b)长条形颗粒;(c)非规则颗粒

Fig. 4. Examples of different types of particles. (a) Spherical particles; (b) elongated particles; (c) irregular particles

4.1 实验装置

图 5. 混合颗粒测量系统

Fig. 5. Measuring system of mixed particles

4.2 数据集预处理

图 6. 图像处理流程

Fig. 6. Flow chart of image processing

图 7. 不同方法处理后混合颗粒的图像。(a)混合颗粒;(b)维纳滤波;(c)二值化和孔洞填充;(d) watershed分割;(e)手动精分割

Fig. 7. Images of mixed particles processed by different methods. (a) Mixed particles; (b) Wiener filtering; (c) binarization and hole filling; (d) watershed segmentation; (e) manually fine segmentation

4.3 结果分析

图 8. 不同分类方法得到的颗粒计数结果

Fig. 8. Particle counting results obtained by different classification methods

图 9. 不同分类方法的检测准确率

Fig. 9. Detection accuracy of different classification methods

图 10. 不同分类方法得到的颗粒的当量直径累积分布

Fig. 10. Cumulative distributions of equivalent diameters of particles obtained by different classification methods

表 3. 不同分类方法得到的颗粒的测量尺寸

Table 3. Particle sizes measured by different classification methods

图 11. 不同分类方法得到的长条形颗粒的长宽比累积分布

Fig. 11. Cumulative distributions of aspect ratios for elongated particles obtained by different classification methods

图 12. 不同分类方法得到的球形颗粒的长宽比累积分布

Fig. 12. Cumulative distributions of aspect ratios for spherical particles obtained by different classification methods

图 13. 不同分类方法得到的非规则颗粒的长宽比累积分布

Fig. 13. Cumulative distributions of aspect ratios for irregular particles obtained by different classification methods

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于卷积神经网络的混合颗粒分类法研究下载： 840次