1 引言

包装是商品信息、企业文化和形象的载体,其重要性在人们日益增长的消费需求中越发凸显^[1]。随着经济的发展,品牌之间的较量俨然成为一场没有硝烟的战争,如何让产品在众多商品中脱颖而出^[2],已成为商品价值评价中值得深思的问题。企业和科研人员在提升产品质量的同时,视包装质量为产品的第二生命力,智能化包装检测技术的上线,成为提升产品竞争力的重要保障。

国内外许多专家学者对应用于缺陷检测的机器视觉技术进行了大量研究。Shanmugamani等^[3]提出基于计算机视觉和机器学习的火炮枪管表面缺陷检测与分类框架,采用多级高斯尺度空间来减少处理时间;Celik等^[4]应用灰度共生矩阵和前馈神经网络的缺陷分类方法对织物疵点进行实时检测与分类,缺陷分类准确率为96.3%;陈广锋等^[5]开展基于机器视觉的冲压件表面缺陷在线检测研究,利用多模板匹配算法和多线程技术,检测冲压件是否为缺陷件的时间可控制在100 ms以内;王泽润等^[6]提出一种基于木材表面图像灰度和纹理特征的木材节子缺陷检测与定位方法,识别准确率可达到95%;王清晨等^[7]提出采用最优Gabor滤波器的牛仔布缺陷自动检测算法,在降低计算成本的同时降低误检率。

现有的机器视觉缺陷检测系统在对包装产品或印刷品质量检测时,选取的检测对象通常具有表面坚固、外形规则等特点,并且检测范围为物品的某一局部。对质地柔软、不易固定且极易发生褶皱、变形的产品检测研究较少。在这种背景下,本文提出了一种基于机器视觉的柔性包装袋缺陷检测方法,同时对产品整体外形和内部印刷缺陷进行检测。

2 机器视觉技术缺陷检测系统

2.1 检测系统概述

机器视觉是指利用图像摄取装置代替人眼功能,以图像处理功能代替人脑识别功能,对产品进行信息分析、目标色素提取,进而控制生产过程的一种人工智能技术^[8]。其主要原理是利用光学摄像与计算机图像采集技术模拟生物视觉,利用计算机图像分析技术识别图像特征值来模拟人脑分析功能,代替人工来进行产品包装缺陷检测^[9]。

机器视觉检测较传统人工检测的优势在于:1) 非接触测量,机器视觉系统可以实现非接触量测和检测,不会对被测物体造成任何损伤和改变,从而提高系统可靠性^[10];2) 系统稳定性和连续性好,机器视觉检测不会因工作时间长、环境恶劣而影响检测精度和工作效率;3) 高精度和宽范围,此技术选取高分辨率、宽光谱的摄像装置,扩展视觉检测范围,提高分辨精度,可达到肉眼无法分辨的尺度和量级。

2.2 机器视觉包装袋缺陷检测系统架构

检测系统可分为4个部分:1) 图像摄取装置,将摄取到的图像转化为计算机可识别数据,传送给图像处理系统; 2) 图像处理和分析装置,根据像素分布、亮度、颜色等信息进行运算,来抽取目标特征,如长度、宽度、面积、填充度等; 3) 结果输出装置,显示输出结果,如检测总数、合格数、不合格数、各种特征参数值等;4) 执行单元,根据判定结果,指挥执行机构进行分拣、去除等操作。图1所示为机器视觉检测系统架构图。

图 1. 机器视觉检测系统架构图

Fig. 1. Architectural diagram of machine-vision based detection system

下载图片 查看所有图片

3 图像处理

3.1 图像处理过程

图像处理是机器视觉缺陷检测系统的核心组成部分,根据处理精度和深入程度由低到高分为3个层级。第1层是图像预处理,包括图像增强和数学形态处理等。图像在采集过程中由于光照不均匀、图像摄取装置精度影响等原因,会出现图像模糊、特征不全、质量不佳等现象,通过图像预处理过程,可使得图像的特征信息凸显,便于后续检测。第2层为图像分割处理,指根据图像特征将其分成许多不同的子区域,并分割提取出有用的目标图像^[11]。图像分割处理是整个图像处理过程的关键,如若检测算法设计不成熟,分割阈值参数设置不准确,将会导致分割失误,进而影响后续的识别工作。第3层是特征提取与缺陷检测,此过程提取图像特征值,并与标准参数比对,进行缺陷检测和结果输出。

所提出的基于机器视觉的包装袋缺陷检测算法,检测对象经过图像采集、二值化处理、阈值分割、目标区域定位、特征提取5个模块处理后,进入缺陷检测阶段,判定产品合格与否,若是缺陷产品则进行特征分析和缺陷分类,最后输出结果。其中,提取特征包含长度、宽度、面积、填充度和监测框与内部目标区域的位置关系5种特征值,缺陷分类包含连袋、外形尺寸错误、包装袋上有异物和包装版面移动4种缺陷类型。算法流程如图2所示。

3.2 二值化处理

二值化处理也叫做阈值分割,是一种将图像转换为由黑和白像素点组成图片的技术,可减少图像处理的信息量,便于图像分析,进而保证系统的实时性^[12]。具体做法分为两个步骤。

1) 对图像进行灰度化处理,选取合适的阈值T。

2) 通过分析待分割图像各像素灰度值与阈值的关系^[13],对目标区域与背景区域进行分割。

g(x,y)=0,f(x,y)≥T1,f(x,y)<T,(1)

图 2. 缺陷检测算法流程图

Fig. 2. Flow chart of defect detection algorithm

下载图片 查看所有图片

式中:f(x,y)表示原始图像;g(x,y)表示处理后的二值图像。阈值选取是图像二值化处理的重要技术,直接关系到后续检测结果。若像素值大于等于T,设其灰度值为“0”表示黑色;若像素值小于T,设其灰度值为“1”表示白色。在老中街包装袋检测实例中,需要进行两次二值化处理。首先确定阈值T₁,用来分割背景和外部目标区域,如图3(a)所示;其次设置阈值T₂,用来分割背景和内部目标区域,如图3(b)所示。

图 3. 二值化图像。(a) T1阈值图像;(b) T2阈值图像

Fig. 3. Binary images. (a) T1 threshold image; (b) T2 threshold image

下载图片 查看所有图片

3.3 目标区域定位

目标区域定位是进行包装袋准确识别的关键步骤之一,直接关系到后续的缺陷分类等过程。

定义1:外部目标区域(P_out)。即包装袋图像的最小外接矩形,如图4所示。

定义2:内部目标区域(P_in)。以T₂为阈值进行二值化处理后,白色像素面积最大的区域定义为内部目标区域,如图3(b)所示。

定义3:监测框(M)。平行于外部目标区域的长和宽,按相应比例设置监测区域边界。用以监测内部目标区域的位置关系,如图4所示。

图 4. 包装袋实物图

Fig. 4. Picture of packing bag

下载图片 查看所有图片

4 缺陷特征提取

包装袋图像经过处理后进行目标特征提取,与标准参数比较可检测包装袋的完整性。采用以下5种特征进行分类。

长度(L):即包装袋图像的最小外接矩形的长度值。设L_T为标准长度,L_up为长度上限,L_low为长度下限,若满足L_low≤L≤L_up,则认定长度合格。

宽度(W):即包装袋图像的最小外接矩形的宽度值。设W_T为标准宽度,W_up为宽度上限,W_low为宽度下限,若满足W_low≤W≤W_up,则认定宽度合格。

面积(A):以T₂为阈值做二值化处理后,白色像素最大区域包含的像素点个数。

填充度(θ):内部目标区域内白色像素与内部目标区域最小外接矩形的比值。设θ_T为最小填充度,若满足θ≥θ_T,则认定填充度合格。

监测框(M)与内部目标区域(O)的位置关系分为内含、相交和相离三种。若满足O⊆M,则认定位置关系合格。特征条件与缺陷分类匹配关系如表1所示。

5 实验与分析

5.1 在线运行实验

为验证所提方法对柔性包装袋缺陷检测的有效性和先进性,从缺陷检测能力和缺陷分类效果2个角度设计实验。以老中街冰棍包装袋检测为例,采用如图5所示实验平台进行测试。

图 5. 实验测试平台

Fig. 5. Platform for experimental testing

下载图片 查看所有图片

实验测试运行环境:选用MindVision 高速相机(60 frame/s),研华工控机(型号610H),LED条形光源。软件系统在Win10系统中设计,利用Visual C++开发环境,OpenCV库函数。

实验中阈值设定:包装袋的物理参数如长度、宽度及各部位的颜色值等由厂家提供,项目组人员深入到生产车间现场安装调试,根据光照条件、相机分辨率、印刷等外界因素,对参数阈值进行现场调整。设定分割背景和外部目标区域阈值T₁为HSV(0,0,54),其中H、S、V分别为色调、饱和度、亮度;设定分割背景和内部目标区域阈值T₂为H(11~21)…S(111~255)…V(92~255)。设定标准长度L_T=220 mm,长度上限L_up=223 mm,长度下限L_low=204 mm,标准宽度W_T=70 mm,宽度上限W_up=91 mm,宽度下限W_low=59 mm,最小填充度θ_T=22%。设包装袋最小外接矩形左上角坐标为原点,绘制直角坐标系。设监测框M左上角点坐标到Y轴距离与包装袋长度比值为27%,左上角点坐标到x轴距离与包装袋宽度比值为28%,右下角点坐标到Y轴距离与包装袋长度比值为72%,右下角点坐标到X轴距离与包装袋宽度比值为85%。根据左上角和右下角两点坐标,绘制平行于包装袋最小外接矩形的监测框。在系统软件界面中,标准设置模块如图6所示,定位设置模块如图7所示。

图 6. 标准设置模块

Fig. 6. Standard setting module

下载图片 查看所有图片

图 7. 定位设置模块

Fig. 7. Location setting module

下载图片 查看所有图片

5.2 性能分析

实验一,缺陷识别能力验证。对本文提出的柔性包装袋检测法、传统的模板匹配法和人工检测法3种检测方法进行比较实验。采用混合矩阵评价识别效果,如表2所示。

表2中,P_T表示缺陷产品被识别为缺陷的数量,P_F表示合格产品被识别为缺陷的数量,N_F表示缺陷产品被识别为合格的数量,N_T表示合格产品被识别为合格的数量。根据表2的混合矩阵,采用真正率(P_se)、真负率(P_sp)和准确率(P_ac)^[14]作为评价标准,其定义为

Pse=PTPT+NF×100%,(2)Psp=NTNT+PF×100%,(3)Pac=PT+NTPT+NF+PF+NT×100%,(4)

式中:P_se为缺陷产品被识别为缺陷产品的比率;P_sp为合格产品被识别为合格产品的比率;P_ac为产品识别总的准确率。实验一中共获取500张图像(合格图像300张,缺陷图像200张),分别比较本文算法、模板匹配法和人工检测法,实验后得到的混合矩阵见表3。由表3和(2)~(4)式计算可得3种算法的真正率、真负率和准确率,如表4所示。

由表4可知,本文方法检测效果最好,真正率为97.5%,真负率为98%,准确率为97.8%;与人工检测法比较,真正率提高4.5%,真负率提高3.3%,准确率提高3.8%;与模板匹配法相比,真正率、真负率和准确率分别提高了8.5%、6.3%和7.2%。分析其原因,现阶段对柔性产品检测研究较少,没有成熟的检测算法,传统的模板匹配方法比较适合表面为刚性的物品检测,对柔软且易发生褶皱变形的产品检测模板选取困难,而人工检测方法也有其局限性,人眼对色彩识别和区域边界测量等不精确,易产生误差。

实验二,缺陷分类效果验证。针对连袋、外形尺寸错误、包装袋上有异物和包装版面移动4种缺陷类型,每种缺陷选取200个样本进行实验,验证分类效果。以漏检率、误检率和正检率为测试标准,结果如表5所示。

由表5可知,提出的缺陷检测方法,缺陷识别成功率可达98.75%,漏检率和误检率分别为0.125%和1.125%,能够满足实际生产对实时、快速和高准确度的要求。其中,对连袋和外形尺寸错误检测效果最好,可达99.5%,包装版面移动检测效果次之,可达98.5%。对包装上有异物检测效果稍差,达97.5%。包装上的异物有多种情况,比如印刷过程中的色差、污迹、异物附着等均归为此类,导致检测效果略低,有待下一步继续细分此类缺陷。另外,检测过程受硬件条件所限,如光照的不均匀,检测物品包装袋为柔性制品,存在褶皱、扭曲和变形等情况,均会影响检测结果。实验结果验证了算法的有效性。图8为部分缺陷分类检测结果。

图 8. 部分缺陷分类检测结果。(a)合格图像;(b)连袋(超长);(c)连袋(超宽);(d)包装版面移动;(e)外形尺寸错误;(f)包装上有异物

Fig. 8. Partial detection results of defect classification. (a) Qualified image; (b) continuous bag (over length); (c) continuous bag (over width); (d) motion of packaging layout; (e) dimension error; (f) foreign matter on packages

下载图片 查看所有图片

6 结论

提出了一种基于机器视觉的柔性包装袋缺陷检测方法,对产品整体外形和内部印刷缺陷实现了实时检测,该方法在获取缺陷信息、识别缺陷种类等方面具有人工检测不可替代的精确性和稳定性。从缺陷检测能力和缺陷分类效果两个角度进行实验。在缺陷检测能力方面,所提方法与模板匹配法和人工检测法比较,检测结果优势显著。在缺陷分类效果方面,以老中街冰棍包装袋缺陷检测为实例,提取长度、宽度、面积、填充度和监测框与内部目标区域的位置关系5种特征值,经缺陷检测与分类,输出连袋、外形尺寸错误、包装袋上有异物和包装版面移动4种缺陷类型。以漏检率、误检率和正检率为测试标准,实际运行结果验证了所提算法的有效性和先进性,并满足检测对实时、快速、高准确度的要求,目前该方法已应用于实际生产并投入使用,取得了良好的检测效果,对提高包装袋生产线的自动化检测水平具有一定的参考价值。