1 引言

鞋是人们日常生活中的必需品,至2014年中国每年生产的鞋数量超过155亿双,占全球制鞋总产量的60%^[1]。在飞织鞋面的检测中,通过人工将底片与鞋面进行比对来确定图案轮廓是否合格。然而,人工接触式的测量方法,如果出现几毫米的误差,到鞋子成型时有可能就是1个鞋号的差别,将会导致材料浪费、企业成本增加。为了解决这些问题,本文提出采用图像特征点匹配方法代替人工完成比对。

图像特征点匹配是计算机视觉领域中基础而又重要的课题,广泛地应用于目标跟踪、图像拼接、模式识别等领域^[2-3]。图像特征点匹配是根据图像中的特征信息,在模板图像和待搜索图像之间找到有效的匹配点对。尺度不变特征变换(SIFT)算法是目前应用最为广泛的特征点匹配算法。Lowe^[4]提出的算法匹配精确度较高,但其运算较为复杂。Bay等^[5]提出加速稳健特征(SURF)算法,该算法是对SIFT算法的一种改进,既保持了SIFT算法精度高的优点,又克服了其速度慢的缺陷^[6],对噪声干扰和光照变化具有很强的稳健性,但是该算法提取特征点的尺度不变性仍不稳定。随着对特征点匹配速度的要求越来越高,Rublee等^[7]提出了对象请求代理(ORB)算法,其特征点的匹配速度比SIFT算法快两个数量级,比SURF算法快一个数量级^[8]。然而,在图像尺度发生变化的情况下,ORB算法特征点匹配效果较差。李小红等^[9]利用ORB算法的快速准确性,在复杂环境中实时检测运动目标。任结等^[10]在增强现实(AR)实时系统中采用ORB特征点匹配,其准确、实时性能表现良好。张云生等^[11]对ORB算法进行了改进,为遥感图像配准提供控制点,并取得了预期效果。但是这些文献均未涉及ORB算法的尺度不变性问题。戴雪梅等^[12]结合SURF算法思想,对ORB算法进行改进,定义为SURB(SURF-ORB)算法,解决了ORB不具备尺度不变性的问题。

本文采用SURB算法对鞋面图像进行特征点提取,利用汉明距离完成初始粗匹配,由于噪声干扰和光照变化的影响会产生误匹配点,采用随机抽样一致(RANSAC)算法对汉明距离匹配后的点进行精匹配,很好地消除了误匹配对。实验对比结果表明,本文算法在鞋面匹配中效果良好。

2 SURB+RANSAC匹配算法

2.1 SURB算法

ORB算法在图像尺度变化时,特征点的匹配精度大大降低。结合SURF算法的尺度不变性,对ORB算法进行改进,得到SURB算法,既保留了ORB算法的快速性,又克服了ORB算法不具备尺度不变性的缺陷。采用SURB算法对鞋面图像进行特征点提取。

2.1.1 特征点检测

SURF算法特征检测是基于Hessian矩阵进行的,它依靠Hessian矩阵行列式的局部最大值定位兴趣点位置。在尺度σ处,图像I(x,y)的Hessian矩阵定义为

H(x,σ)=Lxx(x,σ)Lxy(x,σ)Lxy(x,σ)Lyy(x,σ),(1)

式中L_xx(x,σ)为高斯函数二阶偏导∂²g(σ)/∂x²与图像函数在像素点处的二维卷积,L_xy(x,σ)和L_yy(x,σ)的意义与之相似。矩阵H(x,σ)的行列式值为det(H)=L_xx(x,σ)·L_yy(x,σ)-L_xy(x,σ)²,计算det(H)值,当其值为负数时,说明矩阵的2个特征值异号,即该点为非极值点;当其值为正数时,说明矩阵2个特征值同正或同负,该点是局部极值点,即为特征点。

2.1.2 特征点描述

ORB选择二进制稳健基元独立特征BRIEF算法在特征点邻域建立特征描述符。BRIEF描述子主要是通过随机选取特征点周围区域的若干点来组成小特征区域,对于任何一个特征点来说,其BRIEF描述子是一个长度为n的二值码串,这个二值码串是由特征点周围n个点对(2n个点)生成的,将这2n个点(x_i,y_i),i=1,2,…,n组成一个矩阵S为

S=x1x2…xny1y2…yn。(2)

特征点邻域构成图像块的主方向θ,对应的旋转矩阵R_θ构建矩阵S的校正版本S_θ满足:

Sθ=RθS,(3)Rθ=cosθsinθ-sinθcosθ,(4)

式中θ为在2.1.1节SURF特征点检测中特征点的主方向。将角度离散化,即把360°分为12份,每一份为30°,然后对这12个角度分别求得对应的S_θ,构建一个映射表来计算BRIEF描述子,对于每一个θ,只需查表即可快速得到它的点对的集合S_θ。

2.2 RANSAC算法消除误匹配

由2.1.2节得到特征描述子,采用汉明距离方法对特征点进行匹配。通过计算模板图像中的特征点与待搜索图像上特征点描述向量之间的汉明距离,可得到两幅图像之间的映射关系。根据所得汉明距离值大小进行判断,距离值越小,表明两个特征点越相似^[13]。

由于鞋面图像匹配过程中存在噪声干扰、光照变化等因素的影响,得到的初始匹配对中包含错误匹配^[14]。RANSAC 算法是一种经典且有效的消除误匹配的方法,具有匹配精度高、稳健性强等优点^[15]。根据一个容许误差将所有的初始匹配标志点分为内点和外点,即正确匹配点对和错误匹配点对^[16]。 其需要用到一个大小为3×3的单应矩阵H,获得模板图像特征点与待匹配图像相应特征点之间的坐标变换关系,即A'_i=HA_i,对图像进行平移、旋转和缩放,得到H变换式为

x'y'1=a0a1a2a3a4a5a6a71xy1,(5)

式中(x,y)为模板特征点坐标,(x',y')为待匹配特征点的坐标^[17]。RANSAC算法从提取到的特征点中随机选取4对,然后从这8个特征点中得到变换矩阵,设置特定的要求,当出现最符合要求的矩阵时,该矩阵即成为最终矩阵,相应的特征点也被认定为优良特征点。剔除被视为噪音剩余的特征点^[18]。

经典RANSAC 算法基本过程如下:

1) 将两幅图像进行粗匹配,获得N个待匹配点对的集合,并进行坐标归一化,即A'_i↔A_i,其中i=1,2,…,N。

2) 随机从N个待匹配点对中选取4个点对,计算出变换矩阵H。

3) 计算剩下的N-4个特征点对,经过对应矩阵H变换得到的特征点与其他待匹配特征点之间的距离d,d=‖HA-A'‖。若d(T为事先设置的阈值) ,则该待匹配特征点为内点,即为正确匹配点;反之为外点,为误匹配点。

4) 统计并保存步骤3)中得到的内点个数。

5) 重新挑选4对匹配点,跳转到步骤2)。重复若干次之后,比较各次所得的内点个数,选择内点数最多的集合作为最终内点集合,就是所要求取的两幅图像之间的转换关系。

图 1. 三种算法在鞋面图像尺度变化下的匹配结果对比图。(a) SURF算法;(b) ORB算法;(c)本文算法

Fig. 1. Comparison of matching results of three algorithms under the scale change of shoe uppers images. (a) SURF algorithm; (b) ORB algorithm; (c) proposed algorithm

下载图片 查看所有图片

3 实验结果与分析

为了实际评估算法在鞋面检测中的表现情况,进行了分别在尺度变化、光照变化及噪声干扰条件下对鞋面图像进行匹配的实验。

3.1 尺度不变性实验

在鞋面图像尺度发生变化时,本文算法的匹配效果表现较好。以尺度不同的鞋面图像为对象进行实验,采用3种算法进行匹配。图1为在尺度变化时4种鞋面样本分别采用SURF算法、ORB算法和本文算法的匹配结果对比图。由图1(a)可知,在鞋面图像尺度发生变化时,采用SURF算法的匹配结果中含有较少的错误匹配,SURF算法通过建立图像的尺度空间金字塔来寻找兴趣点,因此可以适应尺度变化的图像匹配。图1(b)为尺度变化时,采用ORB算法的匹配结果,ORB特征是基于来自加速段测试特征FAST(Features from Accelerated Segment Test)角点的特征点检测。采用FAST角点检测提取的特征点不包含尺度不变的信息,所以ORB算法不具备尺度不变性。当鞋面图像尺度发生变化时,采用ORB算法匹配出现了许多误匹配点对,匹配效果较差。图1(c)为采用本文匹配算法的匹配结果,当鞋面图像发生尺度变化时,采用本文的匹配算法无明显误匹配情况,效果良好。SURB算法是采用ORB算法对SURF算法提取到的具有尺度不变性的特征点进行描述,得到具备尺度不变性的描述子,故在鞋面尺寸发生变化时,本文算法匹配结果优于ORB算法。

3.2 光照变化对比实验

由于采集图像时光照不稳定的原因,导致图像对比度发生变化,所采用的匹配算法需要适应这种变化的影响。图2为在鞋面图像亮度发生变化时,采用SURF算法、ORB算法和本文算法对4种鞋面图像的匹配结果对比图。图2(a)为采用SURF算法的匹配结果,当亮度发生变化时出现了一些误匹配。图2(b)为采用ORB算法匹配结果,亮度的变化导致图像灰度变化,使得结果中出现了许多错误的匹配点对。图2(c)为利用本文算法对4种鞋面图像进行匹配的结果,采用SURB+RANSAC算法的匹配结果更为准确。原因是SURB算法是SURF和ORB算法的结合,通过SURF特征算法提取到的兴趣点对光照变化有很强的稳健性,而用RANSAC算法进行精匹配消除外点,故本文匹配算法效果优于ORB算法。

图 2. 三种算法在鞋面图像亮度变化时的匹配结果对比图。(a) SURF算法;(b) ORB算法;(c)本文算法

Fig. 2. Comparison of matching results of three algorithms under the illumination change of shoe uppers images. (a) SURF algorithm; (b) ORB algorithm; (c) proposed algorithm

下载图片 查看所有图片

3.3 噪声干扰实验

由于图像采集设备、传输过程等原因导致鞋面图像中难免会出现噪声的干扰。给鞋面图像中加入信噪比为0.9的椒盐噪声模拟干扰实验,分别采用3种算法进行实验对比。图3为当4种鞋面图像中含有噪声时,采用SURF算法、ORB算法和本文算法的匹配结果对比图。由图3(a)可知,当存在噪声干扰时,SURF算法的表现较差,匹配结果中出现了错误匹配。图3(b)中,ORB算法的匹配结果中存在明显的误匹配对,这是由于ORB特征是基于FAST角点的特征点检测,采用FAST 角点检测提取的特征点对噪声敏感,一旦图像中存在噪声干扰时,将大大降低匹配准确度,故匹配结果较差。图3(c)为采用本文算法的匹配结果,当鞋面图像存在噪声干扰时,采用SURB与RANSAC相结合的算法匹配结果更为准确。经过SURB匹配算法粗匹配后,再采用RANSAC算法对由于噪声干扰产生的误匹配对进行消除,进一步提高了匹配准确度。

图 3. 三种算法在鞋面图像噪声干扰时的匹配结果对比图。(a) SURF算法;(b) ORB算法;(c)本文算法

Fig. 3. Comparison of matching results of three algorithms under the noise interference of shoe uppers images. (a) SURF algorithm; (b) ORB algorithm; (c) proposed algorithm

下载图片 查看所有图片

3.4 匹配时间对比

ORB算法是一种高效的特征检测算法。SURF算法是对经典SIFT算法进行的改进,SURF把SIFT算法中的高斯二阶微分的模板进行了简化,使得卷积的平滑操作仅需要转换成加减运算,这样使得SURF算法的稳健性好且时间复杂度低。采用SURF与ORB算法相结合的SURB算法,可以缩短匹配时间。采用分辨率为2592 pixel×1944 pixel的面阵相机采集鞋面图像,分别应用两种算法在尺度变化、光照变化和噪声干扰条件下进行20次实验对比。图4为ORB算法与SURB+RANSAC算法分别在不同环境下匹配时间对比结果。图4(a)为尺度变化下两种算法对比结果;图4(b)为光照变化下两种算法对比结果;图4(c)为噪声干扰下两种算法对比结果。结果表明:本文算法运行时间少于ORB算法,可应用于鞋面图像实时性特征检测。

图 4. ORB算法与SURB+RANSAC算法分别在不同环境下匹配时间对比结果。(a)尺度变化;(b)光照变化;(c)噪声干扰

Fig. 4. Comparison of matching time between ORB algorithm and SURB combined with RANSAC algorithm in different environments. (a) Scale change; (b) illumination change; (c) noise interference

下载图片 查看所有图片

4 结论

为了解决人工采用底片与鞋面比对存在的误差问题,将SURB算法和RANSAC算法相结合应用到鞋面图像匹配中。该算法相比ORB算法,不仅能够适应鞋面检测中存在尺度变化、光照变化和噪声干扰的影响而准确匹配,具有较强的稳健性,而且具有快速性,可应用于鞋面图像实时性特征检测。