1 引言

行人属性识别^[1]旨在挖掘监控场景中行人可被观察到的一些高级语义信息,如性别、年龄、服饰、携带品等。通常,这些信息可通过人工观察的方式进行提取,这会导致工作量巨大且十分耗时。行人属性识别可以无需人工操作地将这些信息转换成可以用于检索的高级语义信息。目前,行人属性识别存在2个主要的挑战。1)模型将背景区域特征误判为某个属性的特征,从而产生一定的特征提取损失;2)行人间的互相遮挡会使模型混淆提取。

随着深度学习^[2-3]在计算机视觉任务中的表现越来越出色,研究人员开始尝试利用卷积神经网络提取监控场景中行人图像的属性特征。卷积神经网络使用多层非线性变换进行自动特征提取,能更有效地表征行人图像的特征。

总体来说,国内外基于深度学习的行人属性识别算法有4种:1)对损失函数进行改进,以解决数据不平衡的问题;2)基于局部特征的行人属性识别方法结合了全局和细粒度部件的特征;3)基于注意力机制的属性识别方法;4)利用联合循环学习提取上下文信息,以辅助属性识别。李亚鹏等^[4]通过加入正样本比例因子改进损失函数的方法使网络的性能得到提高。Li等^[5]提出可用于学习不同属性间相关性的卷积神经网络模型DeepMAR。这两种算法均属于第一类算法,模型较为简单,难以进一步提升识别效果。Li等^[6]使用poselet部件检测器得到分割后的行人部件,再将其与行人整体结合,提取深度特征进行行人属性识别,这种算法属于第二类算法,但该部件分割算法在监控场景中效果不佳。Liu等^[7]提出一个基于注意力机制的深度网络HydraPlus-Net,这属于第三类算法,其能够捕获细节和局部特征,但模型参数较多且训练过程较为繁琐。Wang等^[8]提出联合循环学习模型,该模型可挖掘属性上下文信息及属性间的相互关系,可提升识别准确率,属于第四类算法,但该模型复杂度较高,当训练集较小时,易出现过拟合现象。

除上述算法外,凌弘毅^[9]使用知识蒸馏方法挖掘被丢弃的属性信息,以辅助属性识别,但被丢弃的属性样本非常少,准确率提升效果并不明显。知识蒸馏法常用于模型压缩,教师网络为复杂模型,学生网络为精简模型。教师网络可利用学习到的隐藏知识指导学生网络训练,实现“知识迁移”。针对行人属性识别现存的问题,受Song等^[10]在研究行人再识别问题时所使用方法的启发,本研究提出基于背景抑制的行人属性识别方法。以残差网络^[11-13]为基础网络,增加两个分支,辅助网络提取不同区域的特征,同时利用联合代价函数减小行人图像特征与背景区域特征的相似度,增大行人图像特征与人体区域特征的相似度,以此来减小背景对网络特征提取的影响。通过在公开数据集上的实验验证,所提方法能取得良好的识别效果。

2 行人属性识别网络构建

2.1 训练网络的整体结构

背景抑制的行人属性识别网络结构如图1所示。中间分支对行人图像进行特征提取,左侧分支对背景区域进行特征提取,右侧分支对人体区域进行特征提取,三个分支参数共享。重新定义网络全连接层的神经元数量,使其与行人属性数据集的属性数量一致。网络分类层的联合代价函数由加权交叉熵损失函数和区域对比损失函数组成。

图 1. 行人属性识别网络

Fig. 1. Pedestrian attribute recognition network

下载图片 查看所有图片

中间分支提取行人图像特征后通过全局平均池化层进行降采样,然后通过全连接层将网络提取的特征映射到样本标记空间中,最后通过加权交叉熵损失函数计算网络预测结果与真实标签之间的误差,该误差即为属性识别的损失。通过区域对比损失函数计算网络特征提取的损失,然后将两个损失按比例相加作为网络总的损失,再通过随机梯度下降算法对参数进行优化更新。block1、block2、block3、block4为四个残差块,具体实现细节可查阅文献[ 11],这里不再赘述。

2.2 残差块结构

残差网络^[11]由何凯明团队提出,其在ILSVRC2015比赛中取得冠军,残差网络在前向网络中增加了一些快捷连接。这些连接会跳过某些层,将原始数据直接传到之后的层。这些连接即可称为残差块,结构如图2所示。

图 2. 残差块结构

Fig. 2. Structure of residual block

下载图片 查看所有图片

2.3 人体区域及背景区域的特征提取

由于行人属性数据集中的图像分辨率较低,清晰度较差,以往很少有利用行人掩码来辅助提高识别准确率的属性识别方法。随着大量基于深度学习的图像分割算法^[14-16]被提出,对行人掩码的提取成为一种可能。

图像分割分为语义分割和实例分割。语义分割是将图中每一点像素标注为某个类别,同一物体的不同实例不需要单独分割出来,相对于语义分割,实例分割则需要将每一个物体的不同实例分割开,如图3所示。

图 3. 图像分割示例。(a)待分割图像;(b)语义分割结果;(c)实例分割结果

Fig. 3. Examples of image segmentation. (a) Image to be segmented; (b) result of semantic segmentation; (c) result of instance segmentation

下载图片 查看所有图片

如果要将行人与背景分离,并且无需对每个行人单独分割,可采用图像语义分割方法中较为经典的Deeplab-v2^[14]算法进行行人掩码提取。对于数据集中少量错误提取的图像,可采用手工标注的方法提取掩码。

行人掩码为一个与行人图像等高等宽等通道的二值图像。将行人图像中人体区域的像素值置为1,背景区域的像素值置为0,即可获得行人掩码。人体区域特征提取如图1右侧分支所示,具体过程可分为3步:

1)对行人掩码进行尺度变换,使变换结果的维度与block1的输出维度相同。

2)将行人图像作为网络的输入,将尺度变换得到的行人掩码与block1输出的特征图相乘,得到人体区域的特征图。

3)将人体区域的特征图作为block2的输入,继续提取特征可得到人体区域特征。

背景区域特征提取方式与人体区域特征提取方式相似,利用一个与行人掩码等维度的全1矩阵减去行人掩码,得到一个人体区域像素值为0,背景区域像素值为1的二值图像,然后对其尺度变换,再将变换结果与block1输出的特征图相乘得到背景区域特征图,将其作为block2的输入,继续进行特征提取即可得到背景区域特征。

2.4 加权交叉熵损失函数

如果一张图片中出现某个属性,那么这张图片对于该属性为正样本,否则为负样本。在行人属性数据集中,每个属性的正样本和负样本数目相差很大,PETA^[17]数据集就是其中一例。

对正负样本的损失乘以同样的权重系数,训练得到的网络会把大部分正样本预测成负样本。为了应对这种属性分布不平衡的问题,Li等^[18]提出加权交叉熵损失函数,该函数可为每个属性的正负样本赋予不同的惩罚权重。当某个属性的正样本数目较少时,该函数可为该属性的正样本赋予一个较大的惩罚权重,同时可为该属性的负样本赋予一个较小的惩罚权重,即

Latt=-1N∑n=1N∑l=1Lwposyn,lln(pn,l)+wneg(1-yn,l)ln(1-pn,l),(1)wpos=exp[(1-rl)/σ2],(2)wneg=exp(rl/σ2),(3)

式中:L为属性的个数;N为行人图像的数量;y_n,l为第n个样本的第l个属性标签,y_n,l∈{0,1},y_n,l=1代表第n个样本包含第l个属性,反之不包含;p_n,l为属性识别网络对第n个样本的第l个属性的预测结果;r_l为第l个属性的正样本比率,即该属性正样本数目在训练集中所占的比率;w_pos为第l个属性的正样本权重;w_neg为负样本权重;σ设置为1。

2.5 区域对比损失函数

为了减小行人间的互相遮挡以及嘈杂的背景对属性识别带来的影响,引入区域对比损失函数,该损失函数以欧氏距离来衡量特征之间的相似度。

Lcon=‖Ffull-Fbody‖22+max{(m-‖Ffull-Fbackground‖22),0},(4)

式中:m为一个超参数,指行人图像的特征向量与背景特征向量的欧氏距离;F_full、F_body、F_background均为由网络提取的2048维的特征向量,表征行人图像、人体区域、背景区域的特征。

2.6 联合代价函数

为了在完成属性识别的同时,提高网络在嘈杂背景下特征提取的稳定性,减小背景影响,可将加权交叉熵损失函数和区域对比损失函数联合作为网络的损失函数,即

Lall=Latt+αLcon,(5)

式中:α为一个超参数,用来控制区域对比损失函数在整体损失中所占的比例;L_att为加权交叉熵损失函数计算的行人属性识别的损失;L_con为区域对比损失函数所计算的网络特征提取的损失。

3 实验与结果分析

3.1 行人属性数据集

PETA数据集包含19000个行人图像,分辨率最小为17×39,最大为169×365,每个行人用61个二分类属性标签和4个多分类属性标签进行标注。由于某些属性的正样本数量极少,所以大多数方法主要还是关注35个正样本比例较高的属性。该数据集中9500个行人图像用于训练,1900个行人图像用于验证,7600个行人图像用于测试,在本实验中,将训练集与验证集合并用于训练。RAP^[19]数据集包含41585张图片,其中33268张图片用于训练,其余图片用于测试,分辨率范围从36×92到344×554,每个行人用69个二分类属性标签和3个多分类属性标签进行标注。对于RAP数据,大多数方法只关注其正样本比例较大的51个属性。

经过对数据集的观察发现,PETA数据集存在一个问题,即该数据集中一个行人存在多张图像,仅通过随机选择一个示例图像进行一次注释,然后对该人的多张图像共享相同的注释属性,会造成一些图像的标签存在错误,如图4所示。

图 4. 行人图像样例。(a)~(f)样例1~6

Fig. 4. Samples of pedestrian images. (a)-(f) Sample 1-6

下载图片 查看所有图片

表1为图4中6幅图像的标签及每个属性正样本的比例,图4(a)~(c)标签一致,图4(d)~(f)标签一致。标签1代表含有该属性,0代表不含有该属性。虽然图4(a)、(b)携带塑料袋、鞋子、裤子等属性的标签为1,但无法通过图像观察到这些特征,而图4(d)、(e)没有行人出现,这些标签的错误会极大地影响模型的准确率。因此,本文增加RAP数据集进行实验验证。

3.2 参数初始化及数据预处理

本实验在构建属性识别网络时使用的深度学习框架是PyTorch。不同于大多数深度学习框架,PyTorch在运行期间是使用反向模式自动微分来构建计算图表的。

由于行人属性数据集的数据量较小,而图4所示的行人属性识别网络参数量巨大,若单纯使用行人属性数据集对属性识别网络进行训练,网络会出现过拟合现象,所以将在ImageNet数据集上预训练的ResNet-50模型参数迁移作为网络的初始权重,然后利用行人属性数据集对网络参数进行微调。模型参数迁移过程分为3步:

1)去除预训练模型参数中全连接层的参数。

2)利用该参数对属性识别网络的conv1层及block1、block2、block3、block4块进行参数初始化。

3)全连接层使用均值为0、标准差为0.01的高斯分布进行随机初始化。

在训练前需要对数据进行预处理(如尺度变换、随机水平翻转、数据归一化操作等)。随机水平翻转会随机产生一个0到1的数,然后判断该数是否小于0.5,若小于0.5,则将行人图像与行人掩码翻转,若大于等于0.5,则不进行翻转。在测试时,只需要作尺度变换及数据归一化操作。

3.3 评估标准

Deng等^[17]采用平均精度(E_mA)来评估属性识别算法。对于每个属性,分别计算正样本和负样本的分类准确度,然后将它们的平均值作为属性的识别结果,最后,通过对所有属性取平均值来获得识别率。平均精度的表达公式为

EmA=12N∑i=1L(NTPiPi+NTNiNi),(6)

式中:N_TPi和N_TNi分别为正确预测的正样本和负样本的数量;P_i和N_i分别为正样本和负样本的数量。

Yu等^[20]将上述标准称为基于标签的评估标准,并提出基于实例的评估标准。基于实例的评估标准包括四个指标,即准确度、精确度、召回率和F1值,计算方法分别为

Eacc=1N∑i=1NYi⋂f(xi)Yi⋃f(xi),(7)Eprec=12N∑i=1NYi⋂f(xi)f(xi),(8)Erec=12N∑i=1NYi⋂f(xi)Yi,(9)F1=2×Eprec×ErecEprec+Erec,(10)

式中:N为样本的个数;Y_i为样本x_i的标签;f(x_i)为样本x_i经过网络预测的结果。

3.4 实验结果与分析

在训练网络时,采用随机梯度下降法(SGD)优化网络,将初始学习率设置为0.001,每经过50次迭代,将学习率乘以0.1,迭代120次后网络能够达到良好的效果。动量和权重衰减因子根据经验设置为0.9和0.0005。在测试阶段,只使用图1的中间分支,并将参数α设置为0。

采用3种实验。实验1,使用图1行人属性识别网络中的右侧分支,将联合代价函数的超参数α设为0,则损失函数仅为加权交叉熵损失函数。实验2,使用图1行人属性识别网络中的中间分支,将联合代价函数的超参数α设为0,则损失函数仅为加权交叉熵损失函数。实验3,使用图1中三个分支,即所提算法,将区域对比损失函数的超参数m设为100,联合代价函数的超参数α设为0.0001,迭代100次后,将α调整为原来的1/10。

在PETA和RAP两个数据集上实验,结果分别如表2和表3所示。

由表2可知,所提算法与PGDM^[18]相比,平均精度提高1.52%,准确度提高1.36%,精确度提高0.96%,召回率提高1.26%,F1值提高1.11%。可以看出,区域对比损失函数消除背景特征算法优于现有的几种行人属性识别算法。

由表3可知,所提算法与现有算法相比,平均精度比FSPP^[20]提高0.47%,准确度比HP-Net^[7]提高2.29%,精确度比ACN^[21]提高1.48%,召回率比FSPP^[20]提高1.39%,F1值比HP-Net^[7]提高1.57%。同样,所提算法的各指标优于其他现有的算法。

表2和表3中,实验2的结果均优于实验1,表明直接去除背景并不能提高行人属性识别的准确率,原因主要有2点:1)无论使用深度学习还是手工标注,都无法精准地将行人与背景完整分离开,可能会出现行人、人体区域被误认为背景等情况,这会大大影响属性识别的效果;2)直接去除背景,会影响图像的平滑性。因此,可使用区域对比损失函数来提高网络提取特征的稳定性。图5反映了两个数据集训练过程中区域对比损失函数损失值的变化趋势。由图5可知,随着迭代次数的增加,区域对比损失函数的损失值在逐渐降低并趋于平稳,说明行人图像特征与人体区域特征的相似度越来越高,与背景区域特征的相似度越来越低。

图 5. 训练过程中区域对比损失函数的变化趋势

Fig. 5. Variation trend of regional contrast loss function during training

下载图片 查看所有图片

对单张图像进行测试,结果如图6所示。由标签和属性识别结果可知,所提方法能比较准确地识别出图像中的行人属性。

图 6. 属性识别结果

Fig. 6. Result of attribute recognition

下载图片 查看所有图片

4 结论

提出基于背景抑制的行人属性识别方法。通过改进残差网络,并引入区域对比损失函数和加权交叉熵损失函数,网络提取的特征会集中于人体区域,能减小背景对于行人属性识别的影响,强制网络提取的特征具有一定的背景杂乱不变性,从而提高属性识别效果。实验结果表明,与现有方法相比,所提方法具有较好的性能。但所提模型仍然存在一些不足,如图像语义分割方法是独立地对行人图像进行掩码提取的,后续可以将掩码的提取过程整合到行人属性识别的网络中,实现一个端到端的网络,以进一步提高网络的性能。