1 引言

医疗无小事,细节见真功。医用输液袋印刷质量影响巨大,漏印、错印将有可能误导消费者,甚至导致生命危险^[1]。目前输液袋缺陷检测主要依靠人工完成,由于其检测时间长、主观性强、检测准确度不高等现实原因,已不能满足工业生产的要求,运用机器视觉技术进行输液袋印刷质量检测成为人工智能时代的研究热点。

许多研究者对基于机器视觉的印刷品缺陷检测进行了深入研究,并取得显著成果。 Guan等^[2]运用二次差分图像算法实现了印刷质量在线检测,有效解决了图像边缘误检和漏检问题;徐敏等^[3]运用Blob算法实现了对印刷品点、线、面三类缺陷的在线检测;胡方尚等^[4]通过数学形态和Hough变换相结合的方法,提出了基于标签印刷缺陷检测的图像配准方法,实现了文本图像的高效配准;王宏丽等^[5]运用模板匹配算法完成了医疗袋缺陷的快速检测。然而,现有的印刷品质量检测在快速实时和高准确率上取得一定成果的同时依然存在如下问题:

1) 印刷品生产企业现有的检测系统仅注重合格性检测,没有对不合格产品进行分类。没有建立庞大的不合格产品样本池,无法进行数据统计分析,进而达到提高质量降低成本的目的。

2) 现有的缺陷检测系统对包装印刷品检测时,通常仅检测外包装本身,包装内没有实物。在实际生产中,厂商往往已将产品装入包装内,然后再进行缺陷检测,包装内的产品或为固体或为液体,柔性包装材料的轻微变形和机器抖动,都将造成检测系统的“误判”。

3) 查阅现有的缺陷检测成果后可知,对医疗用品缺陷检测方面的研究很少,以日常可见的医疗输液袋为检测目标的研究更是稀少。

现有的印刷品缺陷检测采用的算法较为复杂,实际上工业生产需要简单、有效的方法,以快速判断缺陷并进行分类。本文提出一种基于支持向量机(支持向量机)的输液袋智能检测与缺陷分类方法,在图像处理阶段采用迭代阈值法自动进行阈值分割二值化处理,提取候选区与监测区位置关系、候选区与监测区旋转角度和填充度等3种特征,运用经典的支持向量机方法进行缺陷分类,最终在内有液体药品的不利条件下进行实验。

2 系统设计

完整的机器视觉智能检测系统包含光源、光电传感器、图像采集、图像处理和自动分拣等部分^[6],系统设计如图1所示。选用高亮发光二极管(LED)条形光源,采用电荷耦合器件(CDD)采集输液袋样本的图片,图片经由图像采集卡传入计算机(PC),根据图像处理结果,实现自动分拣。

图 1. 系统设计

Fig. 1. System design

下载图片 查看所有图片

3 图像处理及特征提取

3.1 系统检测工作流程

系统检测共分为五个步骤。第一、二步完成图像采集和预处理,去除噪声;第三步是特征提取与特征分析;第四步进行缺陷检测,该步是整个系统检测的关键环节;第五步根据缺陷检测结果,将合格产品直接输出结果,不合格产品运用支持向量机进行缺陷分类。

系统检测工作流程框图如图2所示。

图 2. 系统检测工作流程图

Fig. 2. Workflow diagram of system detection

下载图片 查看所有图片

3.2 图像处理过程

受检测环境、摄像设备误差等外界因素影响,获取的输液袋图像存在噪声,会对检测精度和分类准确性造成干扰,因此,需要对图像进行预处理,以突出输液袋品名区域特征。原始图像经过两次二值化处理,又经十字型中值滤波等步骤去除噪声。

1) 第一次二值化处理用于提取输液袋的外轮廓,采用迭代阈值法,算法如下:

①初始化全局阈值T(一般选择平均灰度,本文实验初始化为127);

②使用阈值T分割图像,产生两组像素。平均灰度值大于T的表示为G₁,小于T的表示为G₂;

③计算G₁和G₂的平均灰度值μ₁和μ₂;

④计算新阈值,T= μ1+μ22;

⑤重复②到④,直到两组平均灰度值μ₁和μ₂不再发生改变为止。

根据计算出的阈值,对图像进行第一次二值化处理,结果如图3(b)所示。

2) 第二次二值化处理用于提取品名区域,即印刷中的药品名称部分。考虑光照、相机误差等现实因素,将图像品名所在区域的阈值设置为一个浮动区间,整个品名区域都将被提取出来。根据生产线上反复调试最终确定阈值为H(106~114)∶S(109~255)∶V(94~255),其中H、S、V分别为色调、饱和度、亮度,该步骤处理后的图像如图3(c)所示。

3) 图3(c)矩形框内存在一定数量的白点噪声。比较3×3中值滤波器、十字型中值滤波器和3×3最大值滤波器三种方法的去噪效果后可知,十字型中值滤波器去噪效果最好,去噪效果如图3(d)所示。

图 3. 各阶段图像处理效果图。(a)原始图像;(b)第一次二值化处理图;(c)第二次二值化处理图;(d)十字型中值滤波处理图

Fig. 3. Image processing effect of each stage. (a) Original image; (b) first binarization processing image; (c) second binarization processing image; (d) cross median filtering processing image

下载图片 查看所有图片

3.3 特征提取

通过对生产过程中常见的医疗输液袋缺陷特征进行分析,针对输液袋品名区域品名偏移、品名旋转、品名污迹三类典型缺陷,甄选出候选区与监测区位置关系、候选区与监测区域旋转角度、填充度3种特征值。选取部分样本训练支持向量机分类器,余下样本作为测试数据用于缺陷分类研究。

1) 候选区与监测区位置关系。候选区即原始图像经二值化处理后,蓝色像素面积最大的区域,该区域的最小外接矩形称为候选区。根据输液袋的最小外接矩形,按相对位置关系定位监测区。候选区与监测区位置关系有两种:全包含和非包含。此特征用于检测品名偏移缺陷。

2) 候选区与监测区域旋转角度。候选区与监测区的偏移夹角以±5°作为阈值。此特征用于检测品名旋转缺陷。

3) 填充度。指候选区内蓝色像素数量与监测区面积的比值。阈值设定为20%~35%,此特征用于检测品名污迹缺陷。

4 基于支持向量机的分类器模型

4.1 支持向量机原理

支持向量机^[7]是一种备受关注的机器学习分类技术,目的是构造一个最大边缘超平面将不同的类别样本分开^[8]。若样本线性不可分,则需要通过核函数转换为高维特征空间的线性问题^[9],支持向量机理论在样本数量少、高维且非性线的模式识别问题上有不可替代的优势^[10]。

设分类超平面为w^Tx+b=0,其中:x为分类超平面上点的横坐标组成的向量;w为法向量;b为截距,两条分界线表示为w^Tx+b=1和w^Tx+b=-1,则最大分类间隔为 2w。分类间隔最大化等价于‖w‖最小化。原问题等价于:

min12w‖2s.t.yi(wTxi+b)≥1,i=1,2,…,n,(1)

式中:i为样本下标;n为样本数量;y_i∈{-1,+1}表示样本类别;T表示转置。

线性支持向量机是一个凸二次优化问题,可运用拉格朗日乘子法求解。

maxα∑i=1nαi-12∑i,j=1nαiαjyiyjϕ(xi)Tϕ(xj)s.t.0≤αi≤C,i,j=1,2,…,n∑i=1nαiyi=0,(2)

式中:α_i为拉格朗日乘子;C为常量;j为样本下标;ϕ为特征映射函数;ϕ(xi)Tϕ(x_j)为样本x_i和x_j映射到特征空间后的内积。

若两类样本线性不可分,则运用核函数将其映射到高维空间,重新转变为线性可分问题求解。支持向量机分类器如下所示。

f(x)=sign∑i=1lαiyik(xi,xj)+b*,(3)

式中:k(x_i,x_j)=ϕ(xi)Tϕ(x_j)为选定的核函数;l为样本数量;sign(·)为符号函数;b^*表示最优偏置项。

支持向量机常用的核函数有径向基核(RBF)、神经网络核、线性核、多项式核等。考虑到模型计算的复杂性,拥有参数较少的径向基函数在实际使用中有着较为优越的分类性能,因此本文选用径向基函数,如下所示。

k(x,xi)=exp-12α2‖x-xi‖2。(4)

4.2 支持向量机分类方法

支持向量机擅长解决二分类问题,而现实中常用的是多类分类器,构造多类分类器的主要方法有一对一(OAO)、一对多(OAA)、决策导向无环图(DAG)和二叉树方法等。一对一支持向量机整体训练速度和精度要高于一对多支持向量机,二叉树和导向无环图对类别数目较多的分类问题优势明显^[11]。

根据本文输液袋缺陷分类较少的特点,选用OAO分类法,将任意样本两两组合,每组设计一个支持向量机分类器,因此k个类别的样本就需要设计k(k-1)/2个分类器。针对定义的品名偏移、品名旋转、品名污迹缺陷,需要训练分类器数目为3个,分别记为1^#(品名偏移,品名污迹)、2^#(品名偏移,品名旋转)、3^#(品名污迹,品名旋转)。选择公式(3)作为判别函数。判别过程见图4。

图 4. 一对一分类法判别过程

Fig. 4. Discrimination process of one-to-one classification

下载图片 查看所有图片

判别过程描述如下:对于待识别样本x,由根结点1^#开始判别。若判别函数f(x)=+1,则向左子树方向行进,由2^#判别函数进行下一步判别;若判别函数f(x)=-1,则向右子树方向行进,由3^#判别函数进行下一步判别。举例说明,若样本被初步识别为品名偏移,由根结点开始向左子树方向行进,再经2^#判别函数识别,若f(x)=+1,则该样本最终判定为品名偏移;反之,判定为品名旋转。

5 实验与分析

针对品名偏移、品名旋转、品名污迹3种缺陷类型,每种缺陷选取150个样本,其中100个样本用于训练,50个样本用于测试。选用Windows 10操作系统和VC++编程工具,调用OpenCV库函数计算特征向量,训练和测试支持向量机分类器。

实验步骤:1) 计算训练集中每个样本图像所对应的候选区与监测区位置关系、候选区与监测区旋转角度和填充度这三个特征向量,共300组;2) 将提取出的300组特征向量逐一添加到支持向量机分类器中进行分类训练,训练终止误差设定为0.001;3) 支持向量机分类器训练结束后,将分属于三类缺陷的共150个样本(每种50个)作为测试数据进行支持向量机分类研究。部分输液袋缺陷分类检测结果见图5。

图 5. 部分缺陷分类检测结果。(a)合格图像;(b)品名偏移;(c)品名旋转;(d)品名污迹

Fig. 5. Partial defect classification detection results. (a) Qualified image; (b) product name offset; (c) product name rotation; (d) product name stain

下载图片 查看所有图片

实验一:多类分类方法比较实验。为选出效果最优的多类分类方法,选用OAO、OAA和DAG分类法分别训练支持向量机分类器,并进行比对实验,测试结果见表1。

缺陷检测最重要的参数就是准确率, OAO分类器数目为3,识别率为96.7%,识别效果最为理想。OAA分类器数目为3,由于各分类器可能存在较大的交叠区域影响识别的准确率,此方法表现次之,与OAO方法比较相差0.9%。DAG分类器数目为2,由于其根节点选择难度较大,此方法识别率与OAO方法相差3.4%。经比较分析后,本文缺陷检测将采用OAO分类法,详细的测试分类结果见表2,具体判别过程已在4.2节详细阐述。

由表2可知,本文方法的识别准确率可达96.7%,满足企业生产过程中对高精度的要求。品名偏移和品名旋转缺陷识别效果最好,准确率可达98%,品名污迹缺陷识别效果稍差,为94%。分析品名污迹中存在1个漏检样本和2个错检样本的原因如下:品名污迹在识别过程中的评判依据为蓝色像素的占比,其受光线、图像采集设备误差等外界不可抗因素影响明显。蓝色像素将品名过多覆盖或其余污迹遮挡品名均归为此类,此类缺陷识别还需进一步细化,如增加字符识别环节等。此外,图像处理各阶段的阈值选取也是影响实验结果的重要因素。

实验二:基于支持向量机的缺陷分类方法与手工检测方法对比实验。查阅现有的缺陷检测成果可知,针对医疗用品缺陷进行检测的研究报道很少,文献[ 5]中使用模板匹配法对医疗袋进行缺陷检测与本文研究目标最为相似,但其研究范围仅为合格性检测,没有进行缺陷分类。为进一步验证本文提出方法的缺陷分类效果,将其与传统的人工检测方法相比较,以平均运行时间和识别准确率作为评价标准,连续运行3次,训练样本集同实验一,实验结果见表3。

由表3可知,本文方法在平均检测时间和识别准确率上优于人工检测法。本文方法的平均检测时间为64 ms,识别准确率为96.7%,其优势在于运用机器视觉技术自动检测。人工检测方法的平均检测时间为187 ms,识别准确率为91%,其劣势在于人在长时间工作下易于疲劳,存在主观性,导致误判。

6 结论

根据医疗输液袋的特点,提出基于支持向量机的输液袋智能检测与缺陷分类方法。从支持向量机的原理出发,分析提取输液袋的几何特征作为输入参数,进行支持向量机分类器训练。首先进行多类分类方法比较实验,选定OAO分类法作为本文的分类方法;然后再将本文方法与人工检测方法进行比较,在平均检测时间和识别准确率两个方面验证本文方法的有效性。本文方法的识别准确率可达96.7%,满足企业生产对简单、快速、实时和高准确度的要求,目前该系统已应用于实际生产,并取得了较好的检测效果。在人工智能时代的今天,运用机器视觉技术的缺陷检测前景不可估量,值得潜心钻研。