1 引言

皮肤检测技术是一种在视频图像中选取、分割对应于人体皮肤像素区域的技术。该技术在人脸检测识别、表情与手势识别、互联网色情图像过滤及非接触生理信号检测等领域具有重要的研究意义^[1-3]。然而,如何从没有任何先验信息的视频图像中精确地分离出皮肤区域与背景区域(非皮肤像素)是非常困难的。传统的皮肤检测方法^[4-7]往往仅依靠皮肤像素的颜色、纹理等信息,通过皮肤像素在不同颜色空间中的聚类特性对皮肤区域与背景区域进行检测与分割。传统方法准确率低且鲁棒性差,尤其在背景颜色与皮肤相近的情况下,误检测率较高;其次,无法区分图像中的活体皮肤组织(真实人体皮肤)与非活体皮肤模型(人脸模型和皮肤照片等),不能解决现阶段人脸检测中涉及的面部防骗等问题,存在较大的弊端。近年来,随着非接触生理信号检测技术的发展,一种新型的基于成像式光电容积描记(IPPG)技术的活体皮肤检测算法克服了传统皮肤检测技术存在的缺点,逐渐在目标检测、临床生命体征信号监测领域发挥重要作用。

2013年,Gibert等^[8]首次将IPPG技术应用于活体皮肤检测中,只有活体皮肤区域才可通过IPPG技术提取到脉搏波等生理信号。该皮肤检测算法流程如下:将拍摄的面部视频分割为40 pixel×30 pixel大小的矩形子块,并利用独立成分分析(ICA)对各子块进行脉搏波提取;通过衡量各子块脉搏波质量来判断其是否为皮肤区域。然而,该方法利用规则矩形分割图像,严重忽略了皮肤原有的轮廓信息,检测精度较低。随后,Luijtelaar等^[9]将基于IPPG技术的活体皮肤检测技术应用到非接触生理信号检测中,利用该技术选取视频中活体皮肤区域作为感兴趣区域进行相应生理参数的提取计算,一定程度上提高了IPPG生理信号检测的准确性。在2015年,Wang等^[10]提出了一种超体素分割与字典学习结合的活体皮肤检测VPS(voxel-pulse-spectral)算法,该算法克服了文献[ 8]和[9]中皮肤区域无法精确分割的问题,较好地保留了皮肤区域的轮廓信息,具有较高的检测精度,但其在图像分割时过于复杂且计算量过大,不能实时检测视频中的活体皮肤。随后,在2017年,Wang等^[11]进一步改进了VPS算法,并提出一种基于多分辨率光谱迭代(MIS)的实时活体皮肤检测算法,该算法将时变IPPG信号转换为多分辨率迭代频谱进行分类训练,具有较好的实时性,但检测精度较低。国内方面,在2015年,Liu等^[12]提出了一种基于IPPG心率信息的人脸皮肤检测算法。该算法的皮肤检测流程如下:首先,利用额头区域,通过IPPG技术计算出受试者的参考心率;然后将视频图像分割成多个40 pixel×30 pixel大小的子区域,并计算出每个子区域的心率信息;最后,通过比较衡量每一块子区域的心率信息与参考心率之间的差异来实现人脸皮肤与非皮肤区域的分离和判断。在2018年,Po等^[13]提出了一种自适应感兴趣区域(AROI)选择方法来改善IPPG信号质量,该方法对捕获的面部视频执行基于规则块的时空划分,并通过均值漂移聚类对活体皮肤进行检测得到AROI,进而计算相应生理参数。然而,该方法需要人脸检测算法辅助来获取视频图像中人脸大小和位置等先验信息。

这些研究^[8-13]大多对视频图像进行规则形状的子区域分割或需要人脸位置等先验信息,严重忽略了皮肤区域的轮廓边缘信息,导致活体皮肤区域与背景区域无法精确分割。另一方面,复杂的子区域分割技术和脉搏波提取过程增加了算法的复杂性,不利于算法的移植与实时检测。针对以上问题,本文提出了一种基于超像素分割与支持向量机(SVM)技术的IPPG活体皮肤检测(SPASD)算法。该算法利用零参数简单线性迭代聚类(SLICO)算法实现了皮肤轮廓的精确分割,有效提高了活体皮肤的检测精度。此外,SPASD算法通过并行分割处理各超像素子块,简化了算法的复杂度,优化了IPPG脉搏波提取算法,有效提高了算法的实时性。

2 原理及方法

IPPG技术是一种通过成像设备将血液容积变化引起的光吸收量的变化描记下来,从而实现脉搏波及其他生理信号提取的技术。因此只有活体皮肤区域才能提取到脉搏波,而其他非活体背景区域提取的信号类似于白噪声信号^[8]。SPASD算法将能否提取出脉搏波信号作为区分活体皮肤与非活体皮肤表面(背景区域)的判断依据。其流程如图1所示,首先针对不同状态下的视频图像进行子区域的分割和脉搏波的并行提取转换,以制作数据集;然后对数据集进行线下训练,生成模型;最后利用训练好的分类模型对未经训练的视频进行实时活体皮肤区域的分离与标识。

图 1. SPASD算法流程图

Fig. 1. Flowchart of SPASD algorithm

下载图片 查看所有图片

2.1 超像素分割

采用SLICO算法^[14-15]对采集的包含活体皮肤的视频图像进行子区域分割。首先将彩色图像转换为CIELAB颜色空间和XY坐标下的5维特征向量,然后对5维特征向量构造距离度量标准,最后对图像像素进行局部聚类,从而达到对图像的超像素分割。SLICO算法能生成紧凑、近似均匀的超像素子块,在运算速度、轮廓保持、超像素形状等方面有较高的性能,同时所需参数较少,具有活体皮肤检测所期望的分割效果。其分割效果如图2所示,可知,针对不同环境中的皮肤图像,SLICO算法均较好地保留了原图像中活体皮肤或皮肤模型的轮廓信息且各超像素子块排列紧凑、大小适中,同时所需参数较少,有着较高的实时性。

图 2. SLICO超像素分割效果。(a)活体皮肤;(b)皮肤模型;(c)复杂背景

Fig. 2. Result of SLICO super-pixel segmentation. (a) Alive-skin; (b) skin model; (c) complex background

下载图片 查看所有图片

2.2 脉搏波提取与变换

使用现有的IPPG技术提取分割后的各超像素子块中的脉搏波信号。目前IPPG脉搏波提取算法主要分为三类:1)基于盲源分离的IPPG提取算法^[16-17]旨在使用不同的标准将时域RGB颜色信息解混到不相关或相互独立的信号源中,以检索IPPG脉搏波信号;2)基于数据驱动的IPPG算法^[18]旨在以皮肤像素子空间的色相变化表示IPPG脉搏波信号;3)基于模型的方法^[19-21]利用不同颜色通道对血液脉动有着不同吸收特性来设计投影函数,并将原始RGB信号投影到该函数方向上,从而分离出IPPG脉搏波信号。

考虑到基于模型的IPPG算法比基于盲源分离的算法具有更高的鲁棒性,而基于数据驱动的IPPG算法又需要洁净且足够的皮肤区域来估计脉搏波,这无法应用到包含较少皮肤和较大空间量化噪声的局部皮肤区域,所以选择基于模型的Chrominance(CHROM)算法^[19]与颜色失真滤波(CDF)算法^[22]结合的算法对所有超像素子块进行脉搏波的并行提取。其中CDF算法流程如图3所示,其中FFT为快速傅里叶变换,IFFT为快速傅里叶逆变换。

图 3. CDF算法流程图

Fig. 3. Flowchart of CDF algorithm

下载图片 查看所有图片

不同于文献[ 8-13]中采用的ICA和CHROM算法(仅在时域内对原始信号进行滤波处理),CDF算法充分利用了不同颜色通道对血液脉动有着不同吸收这一特性,在频率范围内对R、G、B三通道信号赋予不同的权值,增强了原始信号的鲁棒性。

从活体皮肤区域提取的脉搏波信号在短时间隔内会表现出准周期性,而从背景区域中提取的信号(噪声信号)往往类似于白噪声,如图4所示,两者采用相同的信号提取算法,其中DN为像元灰度变化值。

这些信号(包括脉搏波和噪声信号)容易受到运动伪迹、光照条件变化等因素的影响,因此需要采用以下步骤对信号进行处理,以便进行后续的分类。

图 4. 不同区域的IPPG时域信号。(a)敏感区域;(b)背景区域

Fig. 4. IPPG time-domain signals at different areas. (a) Sensitive area; (b) background area

下载图片 查看所有图片

2.2.1 信号谱分析

脉搏波为准周期信号,其幅度谱信号在心率范围内有较大的峰值,如图5(a)所示。背景噪声信号由各种不确定频率成分组成,且各频率能量相差不大,类似于白噪声,其幅度谱信号无明显峰值,如图5(b)所示。对脉搏波和噪声信号进行快速傅里叶变换,表达式为

FL=F(PL),(1)

式中:F(·)表示快速傅里叶变换函数;F_L表示维度为1×L的IPPG幅度谱信号,其中L=2ⁿ,n≥2,n∈Z;P_L表示维度为1×L的IPPG时域信号。其中,F_L的实部和虚部包含了信号的相位信息。由于SPASD算法仅考虑信号强度信息,因此这里求取信号的功率谱进行分析。同时考虑到F_L具有对称性,为了便于之后的归一化和排序操作,求取F_L的功率谱S_L/2,表达式为

SL/2=F1→L/2☉conj(F1→L/2),(2)

式中:S_L/2表示维度为1×(L/2)的功率谱;conj(·)表示F_1→L/2的共轭数。结果如图5(c)、(d)所示。训练数据维度的减少也更利于之后的模型训练。

图 5. IPPG相关信号的频谱图. (a)脉搏波幅度谱;(b)噪声信号幅度谱;(c)脉搏波功率谱;(d)噪声信号功率谱

Fig. 5. Frequency spectra of IPPG related signals. (a) Amplitude spectrum of pulse; (b) amplitude spectrum of noise; (c) power spectrum of pulse; (d) power spectrum of noise

下载图片 查看所有图片

2.2.2 频谱归一化与排序

要消除功率谱S_L/2中不同功率值对信号描述特征的影响,需对S_L/2进行归一化操作,表达式为

S-L/2=SL/2‖SL/2‖p,(3)

式中:‖·‖_p表示L_p范数,可以为L₁范数或者L₂范数。这里采用L₂范数对相关信号进行归一化操作,即S_L/2中各元素依次除以S_L/2中所有元素平方和的开方值(或者所有元素的和)。值得注意的是,不能采用标准偏差进行归一化操作,因为只想消除相关信号的绝对能量,保留功率谱成分之间的相对能量,以便保留脉搏波与噪声之间的差异。归一化后的相关信号如图6(a)、(b)所示。

图 6. IPPG相关信号的功率谱图。(a)归一化的脉搏波;(b)归一化的噪声信号;(c)序列化的脉搏波;(d)序列化的噪声信号

Fig. 6. Power spectra of IPPG related signals. (a) Normalized pulse; (b) normalized noise; (c) sorted pulse; (d) sorted noise

下载图片 查看所有图片

同时,还需要消除 S-L/2信号对频率的依赖性,即不同的人有着不同的心率,功率谱中心率峰值位置不定,但心率峰值往往集中在某一特定的频率波段。与此相反,背景噪声信号类似于白噪声信号,其频率通常是覆盖整个全频段的。因此,利用脉搏波的这种特性,将 S-L/2分成上、下两个频率部分,以近似表示“心率带内”和“心率带外”频率范围。对归一化的功率谱进行排序操作,表达式为

S^L/2=sort(S-1→L/4),sort(S-L/4→L/2),(4)

式中: S-1→L/4和 S-L/4→L/2分别表示维度为1×L/2的归一化的IPPG功率谱的前L/4长度部分和后L/4长度部分;sort(·)表示分别按照值的大小对两部分信号中的所有元素进行降序排序操作;[,]表示时序连接操作。经过排序操作,可以发现脉搏波信号单调下降,如图6(c)所示,而背景噪声信号非单调,如图6(d)所示。

通过以上操作完成了脉搏波和噪声信号的提取与转换,使得脉搏波和噪声信号之间类内方差最小而类间方差最大,突出了两者之间的差异,便于之后的数据训练与分类。

2.3 皮肤模型的训练

通过脉搏波提取转换算法得到了待训练的脉搏波和背景噪声信号。采用SVM算法训练活体皮肤检测分类模型。SVM算法采用基于统计学习理论的结构风险最小化原则和Vapnik-Chervonenkis维(VC维)理论,通过核函数将输入样本从原空间非线性映射到高维特征空间,并在高维特征空间中构造最优分类超平面,即决策函数,从而达到信号分类的效果^[23]。非线性分类决策函数形式为

f(x)=sgn∑i=1NαiyiK(xi,x)+b*,(5)

式中:α_i为Lagrange乘子;y_i为数据标签;K(·)为核函数;b^*为分类阈值;x_i为数据特征;N为训练样本总数;i为第i个样本数据。其中

b*=yi-∑i=1NyiαiK(xi,xj),(6)

式中:x_j为x_i对应的对偶最优解。

然而,低维特征映射到高维特征空间时往往会导致维数灾难^[24],为了解决这个问题,引入高斯核函数,将变换空间的内积转换为原空间中的某个函数来进行计算,保证了非线性问题良好分类性能的同时又很好地解决了维数灾难的问题。

K(xi,x)=exp-xi-xj2/σ2,(7)

式中:σ为径向基半径。

3 实验与讨论

利用C++实现SPASD算法。实验中采用CCD相机(CM3-U3-31S4C-CS,Point Grey)作为视频采集单元,对所有待测者和皮肤模型进行不同环境下、不同状态下视频的采集。所有视频均以25 frame/s的帧率进行录制,视频的分辨率为640 pixel×480 pixel,以AVI格式保存。采集视频时长约为30 s。SPASD实验装置如图7所示。

图 7. SPASD实验装置示意图

Fig. 7. Schematic of SPASD experimental device

下载图片 查看所有图片

对所有采集的视频进行SLICO超像素分割和脉搏波的提取转换,以制作训练集、验证集及测试集。其中,训练集数据量为5134,正样本量为4000,负样本量为1134;测试集数据量为1414。使用LibSVM函数库对训练集数据进行训练,具体参数设置如表1所示。选取C类支持向量机(C_SVC)结合高斯核函数进行数据训练,C_SVC允许n类分组(n≥2)且允许用异常值惩罚因子C进行不完全分类;Gamma是高斯核参数,用来描述特征空间映射至多维空间的复杂程度;C被称为惩罚因子,取值过大会造成过拟合现象,过小会发生欠拟合现象。为了避免过拟合和欠拟合状态的发生,采用交叉验证算法进行训练来确定参数Gamma和C。

利用线下训练好的分类模型,利用SPASD算法对相机采集的活体皮肤与皮肤模型视频进行实时的活体皮肤检测。首先利用视频图像的前64帧生成基础待分类信号;随后利用时间平移窗口实现每1帧图像的活体皮肤检测与标记。检测效果如图8所示。

SPASD算法实现了活体皮肤的精确检测,如图8(a)~(c)所示。活体皮肤区域(斜线部分)被检测、分离、标记出来,而皮肤模型没有被标记,如图8(d)~(f)所示。所采用的SLICO超像素分割算法较好地保留了活体皮肤和皮肤模型的轮廓信息,如图8(b)、(e)所示。进一步,为了衡量SPASD算法的性能,将SPASD算法与文献[ 8]、[11]、[12]的算法进行对比。图9(a)为Gibert等^[8]采用的规则矩形分割算法效果图,其中子区域大小为40 pixel×30 pixel;图9(b)为Wang等^[11]采用的VPS超体素分割算法效果图;图9(c)为Liu等^[12]采用的大小为40 pixel×30 pixel的规则矩形分割算法效果图;图9(d)为所提SPASD算法采用的SLICO超像素分割算法效果图。

图 8. SPASD算法检测结果。(a)原图;(b)超像素分割图;(c)检测效果图

Fig. 8. Results of SPASD algorithm test. (a) Original image; (b) superpixel segmentation; (c) detect result

下载图片 查看所有图片

图 9. 不同算法对比图。(a)文献[ 8]算法;(b)文献[ 11]算法;(c)文献[ 12]算法;(d) SLICO算法

Fig. 9. Results of different algorithms. (a) Algorithm in Ref. [8]; (b) algorithm in Ref. [11]; (c) algorithm in Ref. [12]; (d) SLICO algorithm

下载图片 查看所有图片

从图9可以看出,相比于文献[ 8]和文献[ 12]的规则矩形子区域活体皮肤检测算法,文献[ 11]的VPS算法和SLICO算法较好地保留了图像中活体皮肤的轮廓信息;相比于VPS,SLICO算法所需参数少,且生成的超像素子块更加规则、紧密。

此外,对比4种算法的活体皮肤检测精度,如图9(e)~(h)所示。具体数据如表2所示。可见,文献[ 8]算法严重忽略了皮肤轮廓信息,有较高的误检率,检测精度为83.89%;文献[ 11]算法的检测精度为89.74%,但其对头发等区域有着严重的误检测;文献[ 12]算法忽略了皮肤轮廓信息,但检测精度有所提升,为85.55%;SPASD算法保留了皮肤轮廓信息的同时,还消除了文献[ 11]算法存在的头发区域误检测问题,其检测精度得到了一定程度的提升,提升了2.28个百分点。同时,相比文献[ 11]算法,SPASD算法采用并行方式提取脉搏波,大大提高了算法的实时性。

综上,相比于现有基于IPPG技术的活体皮肤检测算法,SPASD算法可以较好地保留视频图像中皮肤的轮廓信息,具有较高的检测精度和良好的实时性。

4 结论

传统的皮肤检测方法仅仅依靠皮肤像素的颜色纹理信息,旨在不同颜色空间中通过皮肤像素的自聚类特性对皮肤区域和背景区域进行检测与分离,鲁棒性差且无法区分活体皮肤。基于IPPG技术的活体皮肤区域检测算法克服了传统皮肤检测算法的不足,在复杂环境中表现出良好的性能。但现有的IPPG活体皮肤检测算法往往无法进行精确的子区域分割,从而导致活体皮肤检测的准确率较低,且处理流程复杂,使得算法移植性较差。针对以上问题,提出并实验验证了一种基于SLICO算法的SPASD算法。SPASD算法实现了对视频图像中皮肤轮廓的精确分割,生成的图像子块更加规则紧密,克服了以往算法对头发等区域严重的误检测问题,其检测精度达到92.02%。此外,SPASD算法简化了算法流程的复杂度,采用并行的方式提取图像中的脉搏波等相关信号,有效地提高了算法的实时性。该方法将在人脸防骗、非接触生理信号检测、面部表情识别、手势识别等领域有重要的应用价值。