1 引言

随着网络信息技术的不断发展,传统的身份识别方式已经不能满足人们对易用性和安全性的需求,因此一类新的身份识别技术——生物特征识别技术开始得到广泛关注和应用。手部生物特征采集较方便、设备成本低且用户接受度较高,因此基于手部生物特征识别的研究得到了广泛关注,如指静脉识别 ^{[ 1 ]} 、指横纹识别 ^{[ 2 ]} 、指形识别 ^{[ 3 - 5 ]} 、掌纹识别 ^{[ 6 - 8 ]} 、掌静脉识别 ^{[ 9 ]} 、手背静脉识别 ^{[ 10 ]} 和手臂静脉识别 ^{[ 11 ]} 等。研究发现,单生物特征识别的信息和表征能力有限,因此单一特征的安全性和识别性能在某些场合并不能满足要求。不少学者尝试将不同的生物特征进行融合,以增加伪造的难度和复杂性,从而提高系统的安全性,如掌纹掌脉的融合 ^{[ 12 ]} 和手形与掌纹的融合 ^{[ 13 ]} 等。

目前手部生物识别主要针对单张图像进行分析和处理,这在很大程度上限制了所能获取的生物特征数量。视频图像序列中包含了丰富的信息源,更有利于特征的提取。近些年有研究开始采用视频数据进行生物特征的提取和匹配,如基于视频的指纹识别 ^{[ 14 ]} 和基于视频的签名识别 ^{[ 15 ]} 。这些研究表明,基于视频的识别方法能充分利用采集和认证期间的各种信息,从而有效提升系统的性能。

本文提出了一种基于视频的掌纹掌脉联合识别系统,以采集手掌运动视频的方式代替传统的单一图像采集模式,并采用将旋转视频和横扫视频进行融合注册的方式来增强注册模板中特征的丰富性和稳定性,最后结合实际应用引入了一种新的级联融合匹配方式来提高识别速度。

2 掌纹掌脉识别系统简介

所提掌纹掌脉联合识别系统的工作流程如 图1 所示。注册过程用蓝色实线表示,该过程将代表用户的特征信息导入注册数据库;识别过程用红色虚线部分表示,该过程将获取的特征信息与注册数据库中所保存的特征信息进行层级匹配并得到最终的识别结果,图中ROI表示感兴趣区域。

图 1. 识别系统工作流程图

Fig. 1. Working flow chart of recognition system

下载图片 查看所有图片

识别系统的硬件采集系统如 图2 所示, 图2 (a)为整体外观, 图2 (b)为其内部架构。该系统的主要组成部分包括发光二极管(LED)光源阵列、双通道摄像头和均光板。其中LED光源阵列包括20×14的近红外光阵列(940 nm)和20×14的可见光阵列(500 nm),两种光源交错排列并在光源阵列上方覆盖一层均光板,从而使得光源阵列排列紧凑且能够在被采集手掌表面形成均匀的光照。当系统处于正常工作状态时,光源阵列透过均光板在手掌表面产生均匀的漫反射效果。双通道摄像头的可见光通道可采集掌纹图像,近红外光通道可采集近掌脉图像。

图 2. 识别系统硬件模型。(a)整体外观;(b)内部结构示意图

Fig. 2. Hardware model of recognition system. (a) Overall appearance; (b) diagram of internal structure

下载图片 查看所有图片

3 视频帧筛选

因系统的输入是手掌的一段运动视频,所以首先需要从视频中挑选出有效的目标帧。此外,由于系统采用的相机为双通道摄像头,其可见光通道和近红外光通道的采集是同步的,而且相对于掌纹图像而言,近红外成像的掌脉图像中前景与背景的可区分性更强,因此先基于掌脉视频获取目标帧的序列号,再根据掌脉目标帧序列号获取掌纹视频中的对应帧。

在注册阶段,用户的手掌需水平摆放在采集平台的正上方,并以掌心为中心,按某一角度顺时针进行类似俯仰和翻滚的旋转运动,即手掌以一定角度依次从前往后、从左往右倾斜,采集开始一段时间内(设置为5 s)的手掌旋转视频。将通过上述方式采集的注册视频中的第1帧图像作为基准图像,令其为现有掌纹识别系统所要求的标准手掌摆放姿态。在此基础上,选取另外4帧图像作为辅助图像,从中提取特征以增加掌纹局部不变特征的完备性和稳定性。一般来说,对于4帧辅助图像,在选择时应尽量保证它们之间的姿态存在较大的差异,但在实际应用中考虑到时间消耗的因素,结合视频中手掌运动一般是匀速运动这一先验条件,首先将第1帧之外的所有视频帧平分为4部分,在这4部分视频中分别随机抽取一帧作为辅助图像,即第2~5帧图像。 图3 给出了在旋转视频中进行筛选得到的一个注册图像的集合示例。

图 3. 旋转视频筛选得到的图像

Fig. 3. Selected images chosen from rotating video

下载图片 查看所有图片

在识别阶段,用户通过在系统上将手掌横扫而过以完成识别。由于采集的横扫视频帧中手掌前景与背景的可区分性非常强,因此可采用最大连通域的方法确定该帧图像中是否有手掌出现。在系统实际使用过程中,用户手掌的正常横扫速度足以确保横扫视频中有连续多帧图像,且这些图像包含完整的手掌,因此从中任意挑选出一帧图像即可,具体筛选过程如 图4 所示。

图 4. 横扫视频筛选得到的图像

Fig. 4. Selected images chosen from sweeping video

下载图片 查看所有图片

4 掌部纹理模板提取及匹配

由于所提系统同步采集掌纹和掌脉图像,因此二者手部区域的位置是重合的。考虑到实际采集的掌脉图像背景单一且前景与背景的对比度较高,首先在掌脉图像上进行ROI提取操作,然后截取对应掌纹图像中的掌纹ROI。 图5 (a)展示了一个获取的掌脉图像,首先按照文献[ 16 ]中提出的算法依次进行手掌边缘轮廓提取、关键点定位和掌部ROI截取,得到如 图5 (b)中红色矩形所示的掌脉ROI。对掌脉ROI图像分别进行尺度和角度归一化后得到如 图5 (c)所示的归一化掌脉ROI,但从图中可以看出其整体的对比度较低,因此采用具备较强稳健性的最大主曲率算法 ^{[ 17 ]} 对其进行纹理增强。为了生成待匹配模板特征,采用K-means算法对主曲率增强后的图像进行二值化处理,增强后的图像和二值化图像分别如 图5 (d)、(e)所示。

图 5. 掌部纹理模板提取步骤。 (a)获取的掌脉图像;(b)掌脉ROI;(c)归一化掌脉ROI;(d)增强图像;(e)二值图像

Fig. 5. Extraction steps of palm texture template. (a) Obtained palm vein image; (b) ROI of palm vein; (c) normalized ROI of palm vein; (d) enhanced image; (e) binary image

下载图片 查看所有图片

针对掌脉匹配,文献[ 16 ]提出了一种基于共同前景的局部二值模式(MF_LBP)的掌脉匹配方法,即首先根据模板匹配结果得到两幅图像的共同前景部分,再对二者的共同前景部分进行局部二进制模式匹配 ^{[ 18 ]} ,最后利用模板匹配结果和共同前景局部二值模式(LBP)匹配分数进行支持向量机(SVM)融合,以实现掌脉识别。研究发现,在ROI稳定的情况下,模板匹配和MF_LBP为匹配效果较佳的算法,因此可结合实际应用需求对二者进行决策层的级联融合。

5 掌纹局部不变特征提取及匹配

相比于掌脉图像,掌纹图像拥有更加丰富的纹路信息,且其纹理与背景间具有更剧烈的灰度变化。结合采集的掌纹图像特点,设计了一种新的掌纹特征检测和描述算法。此外,为了充分利用视频中多帧图像所包含的掌纹信息,对从多帧图像中提取到的特征进行有效融合,以改善识别效果。

5.1 带网格约束的特征检测

在处理掌纹图像的过程中,若直接采用经典的特征点检测算法对原始图像进行检测,则提取到的特征点数相对较少;若对增强后的图像进行特征点检测,则会引入噪声,降低特征点的稳定性,使得不同时刻得到的同一手掌检测特征点差异较大。

为克服这个问题,抛弃了传统的特征点检测的步骤,针对性地引入一种新的带网格约束的特征检测方法,该方法通过在归一化的掌纹ROI区域上划分网格,将固定网格分布上的像素点直接作为检测到的特征点。采用固定网格提取特征点的方法得到ROI稳定情况下特征点的重复率较强。此外,即使 ROI纹理部分存在轻微的偏移,网格分布下的相邻特征点也能成功地匹配,具有较强的稳健性。 图6 展示了本文方法对掌纹ROI进行特征点检测的示例图,其中 图6 (a)为待处理图像, 图6 (b)为系统所采用的固定网格划分方法,其边缘宽度设为25,网格边长为10,特征点的检测结果如 图6 (c)所示。

图 6. 特征点检测的过程。 (a)掌纹ROI;(b)固定网格分布示意图;(c)特征点的检测结果

Fig. 6. Process of feature point detection. (a) ROI of palm print; (b) distribution schematic of fixed grids; (c) detected result of feature points

下载图片 查看所有图片

传统的特征点检测往往涉及大量的尺度估计及区域计算,其计算复杂度较高,而带网格约束的特征检测方法可以有效地提高计算速度,并大幅提升特征点的检测速度。与此同时,在固定网格划分下的特征点,其位置关系较为固定,可用于特征匹配后的去误匹配操作,从而有效提高系统的识别准确率。

5.2 特征描述

为了提高易用性和友好性,新系统不会过多得约束用户的注册姿态,因此注册和识别时用户手掌摆放姿态及运动速度都相对比较随意,使得采集到的视频图像都有一定程度的模糊和旋转。本课题组在前期工作中提出局部不变特征(FRDOH)描述子 ^{[ 19 ]} 对掌纹识别具有一定的有效性,因此在系统中采用FRDOH描述子对检测到的掌纹特征点进行描述。同时考虑到尺度不变特征变换(SIFT)描述子能够应对具有尺度、旋转和视角变换的场景,为了验证FRDOH描述子的有效性,将FRDOH与经典的SIFT描述子 ^{[ 20 ]} 进行了对比。

5.3 特征融合

如前所述,为了充分利用掌纹视频中的多帧图像信息,采用文献[ 21 ]中提出的特征融合算法对前述步骤提取的掌纹图像特征进行融合。其中,对掌纹视频中提取的 n 帧图像分别进行局部不变特征提取,从而得到 n 个特征向量集组成的集合 X= { x₁ ,…, x _n },其中每个特征向量集可表示为 x _i ={ xij , j= 1,2,…, m _i },其中 m _i 表示第 i 帧图像中的特征点数量。对 n 幅图像进行特征融合可得到特征向量集 x_fusion 。初始化过程如下:从 X 中选出第1帧图像的特征向量集 x₁ ,将其作为初始融合特征向量集 x_fusion ,即 x_fusion = x₁ ;更新过程是从 X 中选取第 k 帧图像对应的特征向量集 x _k ,将 x _k 中的每个 xki 与 x_fusion 中所有特征向量逐一进行距离匹配,若距离值大于预设的阈值,则将 xki 标注为与融合特征向量集不相似的特征;在对 x _k 中的每个特征向量都进行距离计算以及相应的标注操作后,将 x _k 中标注过的特征向量添加到 x_fusion 中形成新的 x_fusion ,从而完成一次更新过程;之后从 X 中选出另一帧掌纹图像的特征向量集对 x_fusion 进行更新,直到所有的图像均已融合完毕,得到最终的特征向量集合 x_final 。

5.4 特征匹配

在对掌纹图像提取了丰富的特征描述后,采用特征点欧氏距离匹配的方式进行掌纹图像的特征匹配。首先,将两个待匹配掌纹图像的特征描述子分别记为 p ={ p _i , i= 1,2,…, m }和 q ={ q _j , j= 1,2,…, n },其中 m 和 n 为特征点的数量。将集合 p 中的 m 个特征向量 p _i 分别与集合 q 中的 n 个特征向量 q _j 逐一进行欧式距离的计算,根据最小距离获得最相似的特征点对( p _i , q _j ),根据预设的空间位置阈值去除误匹配点对,统计两幅图像的特征匹配数并决定是否匹配。

6 决策层级联融合

在进行特征提取和匹配后,对于每个用户可提取到掌脉模板特征T1、掌脉MF_LBP特征T2和掌纹局部不变特征T3。如前所述,这3种特征具有一定的互补性,因此在计算出三者的匹配分数SIM1、SIM2和SIM3后,如何有效地进行特征融合是本节的重点。在现有的生物特征融合研究中,常采用基于加权求和或是基于SVM的分数层融合策略,其流程如 图7 (a)所示。这两种策略在仿真和理论分析中都能够取得较好的性能,但在实际应用中则存在一个问题:在识别过程中,系统对于已注册的用户和入侵者都要无差别的进行3种特征提取及匹配,使得系统的整体耗时较长,而没有侧重于已注册用户的体验和系统的易用性。针对上述问题,提出了一种新的级联融合策略,其整体流程如 图7 (b)所示。利用已注册用户的特征相似度远高于入侵者的特点,对T1和T2特征设置较高相似度阈值并进行验证。对于系统中已注册用户,可以先匹配T1特征或经过T1特征后再匹配T2特征直接完成识别,无需后续T3特征的提取及匹配操作,从而使已注册用户能快速完成验证。而对于入侵者则需要经过3种特征的提取和匹配操作,使得整个系统提升了已注册用户的易用性。

图 7. 加权融合/SVM融合和级联融合的识别流程图。(a)加权融合/SVM融合;(b)级联融合

Fig. 7. Recognition flow charts of weighted fusion/SVM fusion and cascade fusion. (a) Weighted fusion/SVM fusion; (b) cascade fusion

下载图片 查看所有图片

7 仿真结果分析

由于目前的公开数据库中没有集掌纹、掌脉运动视频于一体的数据库,因此为了充分验证所搭建的掌纹掌脉联合识别系统的有效性,建立了一个双通道手掌运动视频数据库。自建的掌部数据库中采集了50位测试者的手掌运动视频,包含35位男性和15位女性,具有一定的代表性。对于每个测试者,分别采集其左右手掌,则数据库总共包含了100个手掌对象。对于每个手掌对象,在双通道摄像头下,分别采集了3段旋转视频和3段横扫视频作为数据库的数据源,同时每段视频中又包含可见光通道采集的掌纹视频和近红外通道采集的掌脉视频。因此,在构建的数据库中,掌脉视频数据有300段掌脉旋转视频和300段掌脉横扫视频,掌纹视频数据有300段掌纹旋转视频和300段掌纹横扫视频,共计1200段双通道手掌运动视频。算法的仿真平台为:Matlab R2015b,Microsoft Visual Studio 2013, CPU:Intel(R) Core(TM) i5-4590,RAM 12 GB。

7.1 仿真性能评价

通过类内匹配和类间匹配对算法性能进行评估。与现有掌纹掌脉系统的类内和类间匹配不同,本文类内匹配指的是同一手掌的横扫视频帧图像与旋转视频帧图像之间的相似度匹配,而类间匹配指的是不同手掌的横扫视频帧图像与旋转视频帧图像之间的相似度匹配。对于性能评价指标,使用错误接受率(FAR)、错误拒绝率(FRR)和等误率(EER)作为性能评价标准。FAR指的是在类间匹配时,不同的手掌对象被错误识别为相同手掌的次数占类间总匹配次数的比率;FRR指的是在类内匹配时,相同手掌被错误识别为不同手掌的次数占类内总匹配次数的比率。由FAR和FRR可形成工作特性(ROC)曲线,而EER则是ROC曲线中FAR与FRR相等时对应的值。使用EER可表征算法的准确率,EER值越小,则表示准确率越高。

7.2 级联融合对掌脉特征识别的影响

对于提取的掌脉模板特征T1和掌脉纹理特征T2,系统分别采用模板匹配算法和MF_LBP匹配算法 ^{[ 15 ]} 进行识别。该系统采用级联结构对T1和T2特征进行判别,因此可通过分别观察掌脉模板特征T1、掌脉纹理特征T2的相似度分布曲线以及将T1和T2特征级联融合后匹配分数的EER曲线来评估算法的性能。具体仿真结果如 图8 所示。 图8 (a)、(b)分别显示了FAR为0时两种匹配方式对应的FRR值,FRR值可用于衡量类内和类间匹配分数的分离程度。类内距离分布越集中,该值越小,表明采用该特征进行匹配可正确筛选出的类内匹配越多。

图 8. 识别性能分布曲线。(a)模板匹配的相似度分数; (b) MF_LBP匹配的相似度分数;(c)等误率

Fig. 8. Distribution curves of recognition performance. (a) Similarity score of template matching; (b) similarity score of MF_LBP matching; (c) EER

下载图片 查看所有图片

从 图8 中可以看出,对于T1和T2特征,使用模板匹配得到的类内类间分离程度明显优于MF_LBP匹配结果。其原因在于:模板匹配算法关注的是两幅图像主纹理的重合程度,采集过程中同一个体的不同掌纹样本间存在姿态的差异,造成二者的主纹理重合程度较高,即类内匹配的相似度分数分布范围较大,但不同个体的掌纹样本之间的纹理重合程度普遍较低,从而使得类间匹配的相似度分数基本上会分布在一个狭窄的分布区间,如 图8 (a)中红色曲线所示;相反,MF_LBP匹配的分数容易受到全局信息的影响,因此除了其类内匹配的相似度分数分布较广,也可能由于部分不同个体的掌纹样本间的局部区域匹配度高,其类间匹配的相似度分布范围也相对较大,如 图8 (b)中红色曲线所示。然而,对于MF_LBP匹配,虽然其在提升类内匹配的相似度分数的同时也提高了类间匹配的相似度分数,但相比于类间匹配相似度分数的提高,类内匹配相似度分数的提高对整体识别率影响更为显著,通过对比二者等误率曲线,可得到其整体识别率相对于模板匹配有所提升。因此,在系统实现上,采用先进行模板匹配再进行MF_LBP匹配的策略进行级联融合。为了衡量融合之后类内和类间匹配相似度分数的可分离程度,用计算级联融合后FAR为0时的FRR值来表征,具体仿真结果如 表1 所示。

从 表1 可以看出,采用级联结构对掌脉模板特征T1和掌脉纹理特征T2进行识别,可大量剔除类间样本,从而加快了类内用户的识别速度。此外,由 图8 (c)可以看出,采用该融合策略后识别率有所提升。

7.3 视频图像融合注册方式对掌纹识别性能的影响

上述掌纹识别步骤中采用了局部不变特征方法,为了进一步提升掌纹识别性能和丰富注册环节中的掌纹局部不变特征,提出旋转视频+横扫视频的视频图像融合注册方式。由于自建数据库中每个对象均包含1段掌纹旋转视频(记为Rot)和3段掌纹横扫视频(记为Swp1、Swp2和Swp3),因此新型视频图像融合注册方式形成的注册特征集总共有3种组合方式,分别为Rot+Swp1、Rot+Swp2和Rot+Swp3。另外,为了更好地验证新型融合注册方式的有效性,将单旋转视频和单横扫视频分别作为一种注册特征集,并进行比较,结果如 表2 所示。

从 表2 可以看出,与仅使用横扫视频或旋转视频作为注册特征集相比,本视频图像融合注册方式可极大地降低系统的识别等误率,其原因在于:系统中注册特征和识别特征是以不同的运动形式进行采集的。因此,即使是同一对象在以运动形式识别时,也会出现手掌姿势变化和运动模糊程度不同的情况。使用单一的旋转视频或横扫视频作为注册特征,将会在一定程度上降低系统识别的准确率。此外,横扫视频是本系统为增强认证的亲和性而采用的一种认证方式,该方式下获取的视频图像会存在运动模糊和多帧图像相似度大、互补性小等问题,因此直接使用横扫视频作为注册特征无法获得丰富的注册特征集,从而会降低系统整体性能。

7.4 掌纹局部不变特征描述子对系统识别性能的影响

对于掌纹局部不变特征,使用第5.2节中提到的SIFT算法和FRDOH算法对掌纹进行特征提取,并从等误率和计算时间效率两个方面进行性能对比,结果如 图9 所示。

图 9. SIFT算法与FRDOH算法性能对比结果。(a)识别等误率;(b)计算效率

Fig. 9. Performance comparison of SIFT and FRDOH. (a) Recognition equal error rate; (b) computational efficiency

下载图片 查看所有图片

从 图9 (a)中的等误率曲线可以看出,通过采用FRDOH描述子和SIFT特征对掌纹进行局部不变特征提取,可获得系统识别性能;同时发现,无论注册特征融合与否,采用FRDOH描述子得到的系统识别等误率优于采用SIFT描述子得到的系统识别等误率。此外,在计算时间的复杂度方面,从 图9 (b)所示的计算效率柱状图中可以看出,注册阶段(多帧图像特征融合)中使用SIFT描述子和FRDOH描述子进行特征提取的耗时分别为450 ms和232 ms,而在识别阶段二者特征提取的耗时分别为250 ms和 120 ms。因此,在注册和识别过程中,FRDOH描述子的时间复杂度低于SIFT描述子。由此可见,采用FRDOH描述子进行特征的提取和匹配能够有效提升系统的综合性能。

7.5 不同特征融合方式比较

在掌纹掌脉联合识别的系统中,可以通过前面的仿真得到掌脉模板特征、掌脉纹理特征和掌纹局部不变特征的匹配分数。为了验证所提决策层级联融合策略的有效性,将其与SVM融合以及加权融合策略进行识别性能和时间消耗上的比较,其中性能比较结果如 图10 所示,采用SVM融合、加权融合和级联融合可以分别达到0.88%、0.98%和1.51%的等误率,比单一特征都有较大幅度的提高。

同时,为了说明3种融合的时耗情况,分别记录对掌脉模板特征T1、掌脉纹理特征T2和掌纹局部不变特征T3的特征提取和匹配阶段的具体耗时,结果如 表3 所示。现假定数据库中有50个对象的手掌特征,且采集到待识别对象的手掌视频后,需要

图 10. 分数层融合方式效果对比

Fig. 10. Comparison of effects of score level fusion modes

下载图片 查看所有图片

与数据库中的所有对象进行逐一匹配。而加权融合方式与SVM融合方式需提取所有的3个特征。因此,结合 表3 可知,两者的总耗时均为 T₃ =2247.5 ms。

根据第6节的决策层融合策略,分别从已注册用户和陌生人识别两种情况对级联融合方式的识别性能进行讨论。

由 图8 可知,已注册的用户有74%的概率通过T1阶段识别,从而直接得到最终结果;由 表1 可知,未通过的部分对象有14.22%的概率通过T2特征的识别而得到最终结果,最终有11.78%的对象需要进行T3识别。上述3种识别情况,即通过T1特征识别直接获得结果、通过T1和T2级联特征识别直接获得结果以及通过T1、T2和T3级联特征识别获得结果,对应的期望耗时 T₁ 、 T₂ 和 T₃ 分别为575.0,1577.5,2247.5 ms,因此级联融合方式的期望耗时可以表示为

若是陌生人,则需要进行T1、T2和T3的识别才能获得结果,耗时 T_cas =2247.5 ms。

8 结论

为提升现有掌部特征识别系统的识别性能和增强系统的亲和性,提出了一种基于视频的掌纹掌脉联合识别系统。该系统通过采集运动视频来获取掌纹掌脉图像,将旋转视频和横扫视频联合组成注册集,使其包含多种运动形式的特征,充分利用多种特征间的相关性并以级联融合匹配的方式进行识别,从而增强系统的综合性能。为了验证所提方法的有效性,构建了一个包含100个手掌和1200段带有运动模糊的掌纹掌脉视频数据库,并在数据库上进行了大量仿真。结果显示系统在基本不影响准确率的情况下,能大幅提高已注册用户的识别速度,从而提升识别系统的亲和性。尽管仿真结果验证了系统的可行性和有效性,但由于时间限制,仿真数据库均是在夏季采集的手掌运动视频数据。在气温变化较大的情况下,仍需进一步验证识别系统的稳健性。在气温较低时,血管收缩会导致成像过程中静脉图像的不清晰,后续工作中需对这个问题进行更深入的研究,以提高系统的适应性。