激光与光电子学进展, 2019, 56 (2): 021502, 网络出版: 2019-08-01   

基于核相关滤波的长时间目标跟踪 下载: 1095次

Long Time Target Tracking Based on Kernel Correlation Filtering
作者单位
兰州交通大学自动化与电气工程学院, 甘肃 兰州 730070
摘要
针对传统跟踪方法在严重遮挡情况下出现目标跟踪漂移和丢失的问题,在核相关滤波跟踪框架下提出一种长时间稳健的目标跟踪算法。在跟踪过程中引入包含遮挡信息的组合置信度测量方法,用于稳健更新。如果核相关滤波算法中置信度的结果表明目标被遮挡,则引入块均值漂移算法来跟踪目标。利用局部信息获取目标的最终位置。用OTB-13测试库中的8组视频序列测试算法的性能,相比传统的核相关滤波算法,精确度提高了0.7%,成功率提高了5.7%。测试结果表明在目标发生严重遮挡时,该算法仍具有较好的跟踪效果,能实现目标长时间稳定的跟踪。
Abstract
Focusing on the target tracking drift and loss problems under severe occlusion for the traditional tracking methods, a long-term robust target tracking algorithm is proposed in the framework of Kernelized Correlation Filter (KCF) tracking. A combined confidence measurement method including occlusion information is introduced during the tracking process and used for the robust updates. If the result of the confidence graph by the KCF algorithm indicates that the target is occluded, a block mean shift (MS) algorithm is introduced to track this target and the local information is used to obtain the final location of this target. The performance of this algorithm is tested based on the eight sets of video sequences in the OTB-13 test library. The accuracy is increased by 0.7% and the success rate is increased by 5.7% compared with those of the traditional KCF algorithms. The test results show that even when the target is seriously occluded, the proposed algorithm still has a good tracking effect and a long-term stable target tracking is realized.

1 引言

目前许多单目标跟踪方法只能解决慢动作和轻微遮挡等简单环境下目标跟踪的问题[1]。对于动态环境中的实时应用,如光照变化、尺度变化、变形和遮挡带来的视觉跟踪挑战,单目标跟踪方法仍然未得到解决。因此,为了开发能够用于实际应用的跟踪方法,需要具有高精度和高效率的稳健跟踪器。

目前,对视觉跟踪方法的研究主要集中在生成式跟踪方法,它使用搜索窗口或模板,根据相似度的最高值定位目标。在生成式跟踪器中,目标通常由一系列模板表示,这些模板不包括限制跟踪器在复杂环境中实现可靠结果的背景信息。另一种常用的方法是判别式跟踪方法,该方法能够使用分类器将对象与图像背景区分开来。相关滤波器,作为最新的判别式跟踪器,已被证明比大多数生成式跟踪器具有更强大的性能。相关滤波器由于能够按照元素的乘法将运算转换到复数域,因此在计算上也是有效的。基于在线对象跟踪基准,核相关滤波(KCF)[2]算法比传统方法,如Struck[3]和TLD[4],具有更高的速度。研究人员进一步改进了最初的KCF方法,以提其高准确性和可靠性。例如,蔡玉柱等[5]在KCF算法的基础上,提出了自适应多特征融合目标跟踪算法,提高了算法的跟踪精度和稳健性。文献[ 6]中采用基于KCF的跟踪器,可以实现尺度自适应变换,以提高跟踪器的性能。但是,对于上述两种方法而言,为了提高整体性能,跟踪速度都会有所降低。

当目标被遮挡时,KCF分类器的更新会产生不可逆误差,导致跟踪结果的漂移失败。本文通过改进KCF跟踪器,提出一种新的视觉跟踪器。考虑建立相关峰的锐度和置信度图的平滑约束组合置信度,以便获得更稳健的相关响应。均值漂移(MS)[7]算法对目标遮挡具有稳健性,同时,针对潜在跟踪误差修正了MS算法的局部模板。也就是说,当KCF算法的置信映射表明跟踪结果需要校正时,则引入修正的MS算法,用于校正跟踪结果。

2 KCF跟踪器

KCF跟踪算法利用岭回归训练一组样本{xi,yi},其目标是找出公式f(z)Tz,同时计算满足输入xi和目标期望回归yi的最小平方误差,

θ=(XTX+λI)-1XTy,(1)

式中:θ为分类器权重;z为所要检测的图像;λ为防止过拟合的归一化参数常量;Xxi组成的矩阵;yyi组成的矩阵;I为单位矩阵。采用核方法,θ可以表示为训练样本线性组合的形式,即 θ=iαiϕ(xi),αθ的对偶空间变量,是由αi组成的矩阵,即滤波器系数,ϕ(xi)为将训练样本映射到高维空间的核函数。对于核函数k(x,x')=<ϕ(x),ϕ(x')>,分类器可以进一步转化为f(x)=iαik(x,x')。优化问题也由θ的求解转化为α的求解。根据文献[ 2],如果核函数具有循环性质,那么岭回归的闭式解为

α^=y^(k^xx'+λ)-1y^,(2)

式中: k^xx'为核循环矩阵k(x,x')的第一行元素;“^”为离散傅里叶变换符号。

训练完成后,KCF算法在以上一帧目标位置为中心,在图像块z上进行检测,相关响应为

f^(z)=k^xz·α^(3)

为了更好地适应目标外观的变化,采用线性插值的方式对滤波器系数α和目标外观模型x进行更新,即

α^τ=(1-γ)α^τ-1+γα^,(4)x^τ=(1-γ)x^τ-1+γx^,(5)

式中:γ为学习率;τ为帧率。

3 基于KCF的长时间目标跟踪

本文提出的算法是在传统的KCF跟踪算法上增加了遮挡判断和重新检测机制,利用组合置信图响应值判断跟踪结果是否需要修正。同时,针对潜在跟踪误差修正MS算法的局部模板。也就是说,当KCF算法的置信映射表明跟踪结果需要校正时,使用MS算法来校正跟踪结果。

3.1 组合置信度测量

从(3)式的检测结果中得到的置信度图 f^(z)包括正负响应。原始的KCF方法,通过检测最大响应来定位目标。虽然KCF跟踪器的效率高,但它不能总是在处理遮挡问题,特别是在重度遮挡期间。因此,除了基于KCF跟踪器来预测置信度,本研究提出了一种用于度量目标相似性的组合置信度。根据文献[ 8],采用相关峰值锐度和置信度的平滑约束扩展置信度。为了测量相关响应的锐度,峰值旁瓣比(PSR)定义为

fp=maxf^z-μzσz,(6)

式中:μzσz分别为图像块z的相关响应的均值和标准差。PSR值越高,表示在跟踪系统中2个连续帧之间的匹配度的高置信度越高。

时间平滑性fs也被引入跟踪问题,用以考虑遮挡排斥。将测量置信度的时间平滑性定义为[8]

fs=1focc=1f^zL+1-f^zLΔ22,(7)

式中:focc= f^zL+1-f^zLΔ22为置信度图的平滑约束,表示遮挡程度;移位算子⊕为从图L帧到L+1帧的置信图中最大值的移位,在计算时间平滑性fs时,Δ为移位值。(7)式表明在重遮挡条件下,平滑度约束越高,置信度值越低。

当目标处于部分或完全遮挡时,在置信图中会有更多的负响应。在这种情况下,使用以下评价:

fa=sumf^zMN=1MNi=0M-1j=0N-1f^z(i,j),(8)

式中:M×N为图像块z的大小。这是矩阵中所有元素的平均值,在(3)式中检测响应的组合置信度测量可以写成

fcf^z=maxf^z+ηpfp+ηsfs+ηafa,(9)

式中:ηpηsηa为所提出的3个指标的权重。执行迭代调整这些参数。在实验中,经过实验参数调整分析他们分别被设置为0.10、0.15和0.10时的效果最佳。

3.2 稳健性更新

对于目标跟踪,跟踪模板应该每帧都更新,以处理由于尺度、光照变化或形变引起的物体外观的变化。为了节约内存,KCF模型用前一帧中的模板对所获得的模板进行线性插值。该模板更新方法包括关于当前帧和先前帧的信息,例如变换后的目标外观和对偶空间系数。然而,KCF使用的是不适应外观变化的固定学习速率,如(4)式和(5)式所示。一旦目标跟踪失败,模型模板将被污染。

为了解决这个问题,需使更新过程适应组合置信度测量。当发生遮挡时应该停止模型模板更新以避免引入错误。通过组合置信度测量可以自适应地控制更新的学习速率,即有

x^L+1=(1-β0fc)x^L+β0fcx^L+1,fcf0x^L,fc<f0α^L+1=(1-β0fc)α^L+β0fcα^L+1,fcf0α^L,fc<f0,(10)

式中: x^Lx^L+1LL+1帧中的目标模板; α^Lα^L+1LL+1帧中的系数向量;β0为学习率,参照文献[ 9]设定其值为0.0012;f0为重度遮挡时的停止更新的阈值,设定其值为0.07;C为归一化系数。当目标被遮挡时,该自适应更新方案使所提出的跟踪器具有与使用先前模板是的分类准确度相当。

3.3 块MS算法

使用块MS算法迭代来提高算法的抗遮挡能力。在初始化过程中,如图1所示,目标区域被划分为4个相等的部分,由于目标尺寸小,每个块包含较少的局部统计信息,因此,需添加中央块以增加目标特征信息。在每个子块中使用MS算法,以单个子块为例对MS算法进行分析。假设目标的中心位置是x0,利用RGB颜色信息特征,可以在初始阶段获得目标模板的概率密度为

qu=Ci=1nK(x02)δ[b(xi)-u],(11)

式中:K是一个核函数;b(xi)是颜色直方图中像素xi的对应值;u是直方图的颜色指数,范围从1到n,这取决于初始化时图像分割的种类。δ[b(xi)-u]用于判断像素xi是否在直方图范围内。本研究把图像分成n块,n=163=4096。

图 1. 块MS跟踪算法的框图

Fig. 1. Schematic of sub-block MS tracking algorithm

下载图片 查看所有图片

在确定目标模板之后,必须通过MS迭代找到与目标模板最相似的候选块,用Bhattacharyya系数来测量目标pu(y)和候选块qu之间的相似性[7],相似性Cp可表示为

Cp=ρ[pu(y),qu]=u=1mp^uyq^u,(12)

式中:m为特征空间中特征值的个数。在每个子块中的迭代完成之后,可以得到每个子块中的目标位置,即

y=i=1nhxiwiKy-xih2i=1nhwiKy-xih2,(13)

式中:h为核函数的带宽,一般设为跟踪窗口的一半。分析每个子块的置信图,并通过子块的最高置信度来确定目标的最终位置。在迭代之后,可得到每个子块的置信度图 Ctp,t是子块的数量,具有最高置信度的子块可表示为

M=argmaxtCpt(14)

基于当前子块的中心位置,可以获取全局目标的新坐标,即

y*=ymaxM-ΔyM,(15)

式中: yMmax为当前子块M的中心位置;ΔyM为子块的中心位置相对于目标中心位置的相对位移。

3.4 改进算法

针对上述问题,提出了一种自适应局部目标跟踪算法。为了改进MS的计算,利用统计直方图特征保存目标局部信息。KCF算法使用模型跟踪目标,并保存目标的全局信息,将目标的局部和全局信息结合起来,提高跟踪精度。

1) 初始化算法并读取图像序列;2) 运行KCF来估计目标位置并获取当前帧的置信图;3) 判断目标位置的置信度。如果当前帧的组合置信度fc大于遮挡极限阈值f0的置信度,自适应更新目标模型,否则,使用MS算法纠正当前视频图像中目标的位置。此时,通过KCF算法得到目标位置。该目标位置被认为是MS算法在先验概率条件下的预测位置,其中先验概率为

P(xt|y1t-1)=P(xt|xt-1)P(xt-1|y1t-1)dxt(16)

遮挡发生后即对所有子块实施MS跟踪算法。本文使用置信度最高的子块来确定整体目标的最终位置,而子块的置信度由Bhattacharyya系数和背景区分度两方面决定。

块MS算法将图像块划分为5块,如图1所示。由于目标太小,如果子块太小,会导致局部信息较少,不利于跟踪结果。KCF算法已经对目标位置进行了初步估计,目标中心将围绕大量有用的局部信息分布,因此对中心块的选择尤为重要。根据这些信息,本研究选择4个部分和中心部分的规划。

在每个子块中同时迭代运行MS算法。利用颜色直方图作为目标模板,根据每个块中直方图的结果以及该块的中心位置,计算出具有最大相似度的块作为最终结果和新的目标坐标。本文算法具体步骤为:

Input:跟踪图像块x,测试图像块z和前一帧y的位置;

Output:当前帧x中的跟踪结果 xt*;

Step 1 初始化参数,读取视频序列;

Step 2 由(9)式训练KCF分类器;

Step 3 由(13)式获得KCF的初始位置;

Step 4 用置信度图判断位置;

Step 5 由(18)式,如果当前帧的组合置信度小于遮挡置信度阈值,运行块MS算法获取各子块;

Step 6 按(22)式和(23)式输出目标位置,或者输出KCF的位置;

Step 7 更新目标模型;

Step 8 重复Step4, Step5;

Step 9 视频序列结束;

Step 10 返回 xt*

4 分析与讨论

为了评估本文算法的性能,在计算机视觉跟踪的标准数据基准(Benchmark-tracking)[10]中选用8组视频序列验证本文算法,视频序列参数如表1所示,所有的实验在标准的计算机(Windows7、64位操作系统AMD A4-3300M APU with Radeon(tm) HD Graphics 1.90 GHz处理器)上执行,软件平台为MATLAB R2014b。实验分为两部分:第一部分是在基准数据库中对本文目标跟踪算法总体性能进行对比分析,对比算法包括3种相关滤波框架下的算法,即基于循环结构的检测跟踪(CSK)算法[11](采用灰度特征)、CN(Color Name)算法[12](采用CN特征)、KCF[2](采用HOG特征);第二部分测试目标在严重遮挡(OCC)下的跟踪效果,在3组具有遮挡干扰属性的视频序列中测试4种算法的跟踪效果。

表 1. 视频序列

Table 1. Video sequence

VideoFrameTarget size /(pixel×pixel)Influence factor
Car scale25226×42Scale variation, occlusion
Crossing12050×17Illumination variation, background clutter
David3252131×35Occlusion, background clutter, rotation
Lemming1336103×61Occlusion, Scale variation, rotation
Jogging307101×25Occlusion, background clutter
Subway17551×19Occlusion, rotation
Walking41279×24Scale variation, deformation
Warlking2500115×31Scale variation, occlusion, low resolution

查看所有表

4.1 评价标准

根据文献[ 10],通过使用精确度和成功率两种方式来测试跟踪算法的性能。首先是精确度。CLE(Center Location Error)为预估跟踪目标位置的中心点坐标与标记位置之间的欧氏距离取平均值。以视频序列中所述的中心位置误差小于一定阈值的相对数为精确度,该值越大越好(阈值通常设置20)。其次是成功率。假设跟踪目标框的重叠率超过一定阈值(通常取0.5),就可以认为当前目标跟踪成功。所有跟踪成功的视频帧占总视频帧数的百分比为成功率。视觉对象类率(VOR)重叠率计算公式为

V=A(BTBG)A(BTBG),(17)

式中:BG为标记目标框;BT为跟踪目标框;∩为计算两者重叠的部分;∪为计算两者总面积;A(·)为计算区域的面积。本研究还采用精确度曲线和成功率曲线评价跟踪目标算法的性能。精度曲线表示阈值在一定范围内的平均精度。重叠率阈值在一定范围内的重叠率精度可以由成功率曲线表明。采用帧率 (单位为frame·s-1)表示运行速率。

4.2 总体性能实验

本节主要是在8组具有复杂属性的视频序列上,采用一次性评估(OPE)方法,即跟踪算法在每段视频上运行一次,得到4种对比算法的精确曲线和成功率曲线如图2所示。表2给出了4种跟踪器在8组测试视频序列中的平均CLE、平均VOR,以及执行速度的比较结果。

图 2. 4种跟踪器的精确度曲线和成功率曲线对比图。(a)精确度;(b)成功率

Fig. 2. Precision curves and success rate curves of four trackers. (a) Precision; (b) success rate

下载图片 查看所有图片

图 3. 4种对比算法在遮挡条件下的精确度曲线和成功率曲线。(a)精确度曲线;(b)成功率曲线

Fig. 3. Precision curves and success rate curves of four contrast algorithms under occlusion condition. (a) Precision; (b) success rate

下载图片 查看所有图片

表 2. 不同跟踪算法的性能比较

Table 2. Performance comparison of different tracking algorithms

AlgorithmCLEVORFrame rate /(frame·s-1)
CSK80.780.389186.2
KCF35.320.499233.2
CN62.780.401141.8
Ours30.020.58946.08

查看所有表

表2中数据可以看出,本文算法在精确度和成功率上相比其他3个对比算法均是最优,改进效果明显。相比原始算法,组合置信度判断更新机制以及块均值滤波算法增加了算法的复杂度,跟踪速度变慢,但是能保证目标跟踪的实时性。通常情况下速率达到25 frame·s-1,可满足实时性[13]

图2可知,相比与KCF跟踪算法,本文算法的精确度平均增加了0.7%,成功率平均增加了5.7%,优于同类型的相关滤波算法。相比于原始的相关滤波目标跟踪算法,稳健长时间跟踪算法对目标的跟踪更精确。实验效果与表2数据基本吻合。

4.3 遮挡条件下实验

当目标受严重遮挡时,在快速运动的3个视频序列上进行对比实验,目标跟踪的精确度图和成功率图如图3所示,实验效果如图4所示。相比与其他3种目标跟踪算法,本文算法能够获得更高的成功率和精度的跟踪结果。

Jogging视频中,当目标发生了严重的遮挡后,其他算法全部出现跟踪漂移现象,目标再次出现时,只有本文方法可以实现准确的跟踪;David3视频中,当目标被轻微遮挡时(#28),在#86帧左右目标被树木遮挡,KCF与本文算法的表现较好,但KCF算法跟踪由于缺少判断模型的更新机制,其跟踪框偏离了目标,引入过多的背景信息导致跟踪失败。本文算法采用组合置信度的判断机制更新模型,在遮挡条件下采用块均值漂移算法,实现了目标的长时间稳健跟踪。

图 4. 跟踪效果图

Fig. 4. Pictures of tracking effect

下载图片 查看所有图片

5 结论

提出了一种基于KCF稳健更新和自适应局部均值滤波的长时间视觉跟踪算法。算法利用KCF在目标跟踪中的优势,引入组合置信度测量,分析当前帧中的跟踪结果,并将其用于稳健更新。如果跟踪目标被遮挡,则在算法中引入块MS算法来校正KCF的结果。该方法克服了KCF模型不能充分利用局部信息处理遮挡信息的缺点,使得跟踪更加稳健,实现了目标长时间跟踪。在视频序列中的实验结果表明,本文所提出的算法在处理严重遮挡时有较好的跟踪效果,但当目标出现运动模糊和尺度变化时,算法的性能会有所下降,需要进一步研究。

参考文献

[1] 邹焱飚, 周卫林, 陈向志. 基于深度分层特征的激光视觉焊缝检测与跟踪系统研究[J]. 中国激光, 2017, 44(4): 0402009.

    Zou Y B, Zhou W L, Chen X Z. Research of laser vision seam detection and tracking system based on depth hierarchical feature[J]. Chinese Journal of Lasers, 2017, 44(4): 0402009.

[2] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.

[3] HareS, SaffariA, Torr P H S. Struck: structured output tracking with kernels[C]∥2011 International Conference on Computer Vision, November 6-13, 2011, Barcelona, Spain. New York: IEEE, 2011: 263- 270.

[4] Kalal Z, Mikolajczyk K, Matas J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1409-1422.

[5] 蔡玉柱, 杨德东, 毛宁, 等. 基于自适应卷积特征的目标跟踪算法[J]. 光学学报, 2017, 37(3): 0315002.

    Cai Y Z, Yang D D, Mao N, et al. Visual tracking algorithm based on adaptive convolutional features[J]. Acta Optica Sinica, 2017, 37(3): 0315002.

[6] 高美凤, 张晓玄. 尺度自适应核相关滤波目标跟踪[J]. 激光与光电子学进展, 2018, 55(4): 041501.

    Gao M F, Zhang X X. Scale adaptive kernel correlation filtering for target tracking[J]. Laser & Optoelectronics Progress, 2018, 55(4): 041501.

[7] Comaniciu D, Meer P. Mean shift: a robust approach toward feature space analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619.

[8] LiuT, WangG, Yang QX. Real-time part-based visual tracking via adaptive correlation filters[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition, June 7-12, 2015, Boston, MA, USA. NewYork: IEEE, 2015: 4902- 4912.

[9] LiY, ZhuJ. A scale adaptive kernel correlation filter tracker with feature integration[C]∥Agapito L, Bronstein M, Rother C. ECCV 2014: Computer Vision: ECCV 2014 Workshops. Cham: Springer, 2014, 8926: 254- 265.

[10] WuY, LimJ, Yang MH. Online object tracking: a benchmark[C]∥2013 IEEE Conference on computer Vision and Pattern Recognition, June 23-28, 2013, Portland, OR, USA. New York: IEEE, 2013: 2411- 2418.

[11] Henriques JF, CaseiroR, MartinsP, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]∥Fitzgibbon A, Lazebnik S, Perona P, et al. Computer Vision: ECCV 2012, Berlin, Heidelberg: Springer, 2012, 7575: 702- 715.

[12] DanelljanM, Khan FS, FelsbergM, et al. Adaptive color attributes for real-time visual tracking[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA. New York: IEEE, 2014: 1090- 1097.

[13] Ruan Y, Wei Z Z. Discriminative descriptors for object tracking[J]. Journal of Visual Communication and Image Representation, 2016, 35: 146-154.

杨剑锋, 张建鹏. 基于核相关滤波的长时间目标跟踪[J]. 激光与光电子学进展, 2019, 56(2): 021502. Jianfeng Yang, Jianpeng Zhang. Long Time Target Tracking Based on Kernel Correlation Filtering[J]. Laser & Optoelectronics Progress, 2019, 56(2): 021502.

本文已被 7 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!