基于高斯输出约束的上下文相关滤波跟踪

许敬祥; 伍雪冬; 杨开运

doi:doi:10.3788/LOP57.041508

激光与光电子学进展, 2020, 57 (4): 041508, 网络出版: 2020-02-20

基于高斯输出约束的上下文相关滤波跟踪下载： 838次

Context-Aware Correlation Filter Tracking Based on Gaussian Output Constraint

论文大纲

许敬祥 ^*伍雪冬杨开运

作者单位

江苏科技大学电子信息学院, 江苏镇江 212000

机器视觉目标跟踪目标漂移上下文感知高斯约束输出 machine vision target tracking target drift context-aware Gaussian output constrain

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为了减少目标跟踪过程中漂移情况的发生,提出一种基于高斯约束输出的上下文相关滤波跟踪算法。该方法通过假设跟踪目标的输出响应服从高斯分布,利用高斯分布的性质可以得出约束输出的具体表现形式;再利用约束输出和相关滤波知识可得到一个可迭代的滤波参数;根据设定的约束条件,对跟踪器中的滤波器进行选择性更新。采用OTB-2013评估基准中的50组视频序列验证了所提算法的有效性, 并与其他跟踪算法进行了对比。实验结果表明,所提算法的目标跟踪综合性能明显提升,并且相比于近年来的其他算法也有明显的优势。

Abstract

Herein, a context-aware correlation filter tracking algorithm based on the Gaussian output constraint (OCCACF) is proposed to reduce the occurrence of drift in the target tracking process. This algorithm assumes that the output response of the tracking target obeys Gaussian distribution. A form of constraint output is derived from the properties of Gaussian distribution and an iterative parameter is obtained using the constraint output and correlation filter knowledge. The filters in this tracker are selectively updated according to setting constraints. The effectiveness of the proposed algorithm is verified using 50 video sequences in the OTB-2013 evaluation benchmark and the proposed algorithm is compared with other tracking algorithms. Experimental results show that the proposed algorithm can significantly improve the overall performance of target tracking and has obvious advantages than other algorithms that have been proposed in recent years.

1 引言

计算机视觉被广泛应用于人脸识别、车辆或行人检测、目标跟踪和图像生成等领域^[1]。由于视频目标跟踪在视频监控、智能交通和**制导等领域有广泛的应用,视频目标跟踪已成为计算机视觉中最为重要的研究内容之一^[2]。近年来,视频目标跟踪算法的研究取得了长足进展,但依然面临着诸多挑战,例如光照变换、目标遮挡、快速运动、形变和复杂背景等^[3-5]。虽然目前许多算法在处理其中某些问题时取得了一定的效果,但仍有一些问题尚未得到有效的解决^[6]。因此,视频目标跟踪的研究依然具有一定的理论研究意义和实践应用价值。

由于相关滤波可以将在时域上的计算转换到频域上进行计算,从而降低了算法的计算量,引起了科学研究者的广泛关注,并将其应用到视觉目标跟踪中^[7-8]。Bolme等^[9]首先将相关滤波的方法应用到目标跟踪中,并提出一种最小平方误差相关滤波算法(MOSSE),该算法通过计算实际输出与期望输出之间的最小平方误差来确定相关滤波参数并完成目标的检测与跟踪。受MOSSE算法的启发,Danelljan等^[10]提出在相关滤波算法的基础上引入颜色空间特征,利用多通道的颜色属性将其嵌入到核空间中进行学习,并得到一个自适应的相关滤波跟踪器。Henriques等^[11]将梯度直方图(HOG)特征应用到相关滤波的目标跟踪中,并提出核相关滤波(KCF)跟踪算法,该算法通过引入线性核函数来完成线性相关滤波器的快速多通道扩展,极大地提升了计算效率和跟踪性能。为了能够同时利用颜色特征和HOG特征的优点,Bertinetto等^[12]提出一种互补特征融合(Staple)算法,该算法使用融合互补因子将颜色和HOG特征融合成一个新的特征。上述相关滤波算法在一定程度上提高了跟踪性能,但是在处理一些特殊环境下的目标时,仍不能满足人们对目标跟踪性能的要求。为了进一步提高目标跟踪精度,Mueller等^[13]提出一种结合上下文感知相关滤波(CACF)算法,该算法同时利用目标及其周围的背景信息:首先利用前一帧的目标位置,通过相关滤波器计算出当前帧的目标置信图;然后将置信图中最高的幅值点对应的位置作为目标的位置;最后用当前帧的目标位置在线更新上下文相关滤波模型。但是此算法在处理目标形变和目标快速移动等复杂背景目标的过程中容易出现跟踪目标漂移,从而导致跟踪失败,因此,依然需要对CACF算法进行深入研究。

针对CACF算法跟踪过程中容易出现的漂移问题,本文提出约束输出的方法来减少漂移情况的发生。一方面,将输出的结果约束在一定的范围内,以减少模型更新的错误;另一方面,根据约束条件,利用可变的更新速率和原有固定不变的更新速率进行选择性更新,从而减少目标的漂移。

2 研究方法

2.1 CACF分类器

上下文感知滤波器是在相关滤波的基础上设计的,它不仅将目标区域作为样本集的唯一样本,还采集了目标区域周围的背景信息作为辅助。上下文感知算法分类器的训练和相关滤波算法分类器的训练相同,即利用岭回归的方法得到一个新的分类器。上下文感知滤波器的目标函数为

\begin{matrix} \underset{}{g = \min_{ω}} ‖ A_{0} ω - y ‖_{2}^{2} + λ_{1} ‖ω ‖_{2}^{2} + λ_{2} \overset{k}{\sum_{i = 1}} ‖ A_{i} ω ‖_{2}^{2}, (1) \end{matrix}

式中:A₀为目标区域循环采样后的样本集;A_i为上下文区域循环采样后的样本集;ω为相关滤波器;λ₁、λ₂为系统的正则项系数。

为了构建一个循环矩阵,设A为一个循环矩阵,则A可由特殊矩阵F构建,表示为

\begin{matrix} \{\begin{matrix} A = Fdiag (\overset{⌒}{a}) F^{H} \\ A^{T} = Fdiag ({\overset{⌒}{a}}^{*}) F^{H} \end{matrix}, (2) \end{matrix}

式中: $\begin{matrix} \overset{⌒}{a} \end{matrix}$ 为目标样本的傅里叶形式。利用(2)式构建循环矩阵,并设B和 $\begin{matrix} \bar{y} \end{matrix}$ 分别为

\begin{matrix} B = [\begin{matrix} A_{0} \\ \sqrt[]{λ_{2}} A_{1} \\ ︙ \\ \sqrt[]{λ_{2}} A_{k} \end{matrix}], \begin{matrix} \bar{y} = [\begin{matrix} y \\ 0 \\ ︙ \\ 0 \end{matrix}] \end{matrix} 。 (3) \end{matrix}

利用(3)式可将目标函数(1)式转化为关于ω、B的函数:

\begin{matrix} f (ω, B) = ‖ Bω - \bar{y} ‖_{2}^{2} + λ_{1} ‖ω ‖_{2}^{2} 。 (4) \end{matrix}

对(4)式求最值可得

\begin{matrix} ω = {(B^{T} B + λ_{1} I)}^{- 1} B \bar{y} 。 (5) \end{matrix}

把(3)式代入(5)式,并把结果频域化可得到

\begin{matrix} \overset{⌒}{ω} = \frac{{\overset{⌒}{a}}_{0}^{*} ☉ \overset{⌒}{y}}{{\overset{⌒}{a}}_{0}^{*} ☉ {\overset{⌒}{a}}_{0} + λ_{1} + λ_{2} \overset{k}{\sum_{i = 1}} {\overset{⌒}{a}}_{i}^{*} ☉ {\overset{⌒}{a}}_{i}}, (6) \end{matrix}

式中: $\begin{matrix} \overset{⌒}{ω} \end{matrix}$ 为相关滤波器的傅里叶形式; $\begin{matrix} {\overset{⌒}{a}}_{0} \end{matrix}$ 为目标区域样本的傅里叶形式; $\begin{matrix} {\overset{⌒}{a}}_{i} \end{matrix}$ 为目标上下文区域样本的傅里叶形式; $\begin{matrix} \overset{⌒}{y} \end{matrix}$ 为傅里叶输出;☉表示元素级乘法。为了减少计算量,设ω=B^Tα,可得

\begin{matrix} \begin{matrix} α = {(B^{T} B + λ_{1} I)}^{- 1} \bar{y}, (7) \\ \overset{⌒}{α} = \frac{{\overset{⌒}{a}}_{0}^{*}}{{\overset{⌒}{a}}_{0}^{*} ☉ {\overset{⌒}{a}}_{0} + λ_{1} + λ_{2} \overset{k}{\sum_{i = 1}} {\overset{⌒}{a}}_{i}^{*} ☉ {\overset{⌒}{a}}_{i}} 。 (8) \end{matrix} \end{matrix}

由相关滤波知识可知,假设输出f(z)=z·ω,将ω=B^Tα代入f(z)中,可得

\begin{matrix} \begin{matrix} f (z) = r_{d} (α, B, z) = z \cdot B \cdot α, (9) \\ {\overset{⌒}{r}}_{d} = \overset{⌒}{z} ☉ {\overset{⌒}{a}}_{0}^{*} ☉ {\overset{⌒}{α}}_{0} + \sqrt[]{λ_{2}} \overset{k}{\sum_{i = 1}} \overset{⌒}{z} ☉ {\overset{⌒}{a}}_{0}^{*} ☉ {\overset{⌒}{α}}_{i} 。 (10) \end{matrix} \end{matrix}

2.2 约束输出的滤波器更新

CACF跟踪器在处理有遮挡的目标时容易出现漂移现象,为了解决CACF跟踪中易出现的漂移问题,本文通过引入输出约束来减少跟踪过程中产生的漂移问题。为了获得更加准确的模型,并避免一些错误的输出,假设输出响应为一个独立统计量,根据中心极限定理,输出响应服从高斯分布。

2.2.1 无约束输出的滤波器更新

设y为期望输出,f(z)为实际输出,则跟踪问题可表示为

\begin{matrix} g = \min_{ω, ε} ε^{2} = \min_{ω, ε} [y - f {(z)]}^{2}, ‖ ω ‖ \leq B, (11) \end{matrix}

式中:f(z)=ω^Tφ(x);B为很小的常量。将(11)式转化为拉格朗日函数求解问题,得到拉格朗日函数为

\begin{matrix} L_{p} = \overset{M \times N}{\sum_{i = 1}} ε_{i}^{2} + \overset{M \times N}{\sum_{i = 1}} β_{i} [y_{i} - ω^{T} φ (x) - ε_{i}] + λ (‖ω ‖^{2} - B) 。 (12) \end{matrix}

利用拉格朗日求解方法,可以得到α、ω:

\begin{matrix} \{\begin{matrix} α = {(K + λI)}^{- 1} y \\ ω = \overset{M \times N}{\sum_{i = 1}} α_{i} φ_{i} \end{matrix} 。 (13) \end{matrix}

对于无约束输出的滤波器更新,一般采用的是固定的更新系数η,模型更新x⁽^t⁾和滤波器更新α⁽^t⁾ 可表示为

\begin{matrix} \{\begin{matrix} x^{(t)} = (1 - η) x^{(t - 1)} + η x^{(t)} \\ α^{(t)} = (1 - η) α^{(t - 1)} + η x^{(t)} \end{matrix}, (14) \end{matrix}

式中:t为视频图像的第t帧。

2.2.2 高斯分布下的约束输出滤波器更新

假设跟踪目标的输出响应服从高斯分布,则目标函数可以表示为

\begin{matrix} g = \min_{ω, ε} \overset{M \times N}{\sum_{i = 1}} ε_{i}^{2} \begin{matrix} , & s.t. \{\begin{matrix} ε_{i} = y_{i} - ω^{T} φ_{i} \\ {\overset{⌒}{y}}^{(t)} ~N (μ^{(t)}, σ^{(2, t)}) \\ ‖ω‖ \leq B \end{matrix} \end{matrix}, (15) \end{matrix}

式中:y_i表示第i个样本φ的高斯表示;ω^T为此帧的相关滤波参数;μ⁽^t⁾、σ^(2,^t⁾分别为高斯分布的均值和方差; $\begin{matrix} {\overset{⌒}{y}}^{(t)} \end{matrix}$ 为基于高斯函数定义的变量。

由于 $\begin{matrix} {\overset{⌒}{y}}^{(t)} \end{matrix}$ ~N(μ⁽^t⁾,σ^(2,^t⁾)无法直接解出最优参数ω^T,可以根据概率论中的最大似然理论知识求解最优参数,根据高斯最优解的求取方式,首先最小化 $\begin{matrix} \frac{{({\overset{⌒}{y}}^{(t)} - μ^{(t)})}^{2}}{2 σ^{t}} \end{matrix}$ + $\begin{matrix} \frac{\ln (2 π σ^{(t)})}{2} \end{matrix}$ ,由于只有 $\begin{matrix} \frac{{({\overset{⌒}{y}}^{(t)} - μ^{(t)})}^{2}}{2 σ^{(t)}} \end{matrix}$ 与 $\begin{matrix} {\overset{⌒}{y}}^{(t)} \end{matrix}$ 相关,因此求解最优参数问题又可简化为 $\begin{matrix} {({\overset{⌒}{y}}^{(t)} - μ^{(t)})}^{2} \end{matrix}$ 的求解问题。令 $\begin{matrix} {\overset{⌒}{y}}^{(t)} \end{matrix}$ =ω^(T,^t⁾x⁽^t⁾,其中x⁽^t⁾表示样本中的第t个样本,则 $\begin{matrix} {({\overset{⌒}{y}}^{(t)} - μ^{(t)})}^{2} \end{matrix}$ 的求解可转化为 $\begin{matrix} (ω^{(T, t)} x^{(t)} - μ^{(t)}) \end{matrix}$ 。为进一步简化计算,下面对 $\begin{matrix} (ω^{(T, t)} x^{(t)} - μ^{(t)}) \end{matrix}$ 进行计算处理。

由高斯分布可知,均值μ⁽^t⁾的更新为

\begin{matrix} \begin{matrix} μ^{(t)} = (1 - ρ) μ^{(t - 1)} + ρ ω^{(T, t)} {\overset{⌒}{x}}^{(t)}, (16) \\ μ^{(t - 1)} = (1 - ρ) μ^{(t - 2)} + ρ ω^{(T, t - 1)} {\overset{⌒}{x}}^{(t - 1)} 。 (17) \end{matrix} \end{matrix}

将(17)式代入(16)式,可得

\begin{matrix} μ^{(t)} = (1 - ρ) [(1 - ρ) μ^{(t - 2)} + ρ ω^{(T, t - 1)} {\overset{⌒}{x}}^{(t - 1)}] + ρ ω^{(T, t)} {\overset{⌒}{x}}^{(t)} 。 (18) \end{matrix}

对(18)式两端同时加(-ω^(T,^t⁾x⁽^t⁾),然后对其两端同乘(-1),可得

\begin{matrix} ω^{(T, t)} x^{(t)} - μ^{(t)} = - ρ (1 - ρ) ω^{(T, t - 1)} {\overset{⌒}{x}}^{(t - 1)} - {(1 - ρ)}^{2} μ^{(t - 2)} - ρ ω^{(T, t)} {\overset{⌒}{x}}^{(t)} + ω^{(T, t)} x^{(t)} 。 (19) \end{matrix}

将ω^(T,^t⁾x⁽^t⁾- $\begin{matrix} {\overset{⌒}{x}}^{(t)} \end{matrix}$ 替换(19)式的ω^(T,^t⁾x⁽^t⁾-x⁽^t⁾,可得

\begin{matrix} \begin{matrix} ω^{(T, t)} x^{(t)} - μ^{(t)} = - ρ (1 - ρ) ω^{(T, t - 1)} {\overset{⌒}{x}}^{(t - 1)} - \\ {(1 - ρ)}^{2} μ^{(t - 2)} - ρ ω^{(T, t)} {\overset{⌒}{x}}^{(t)} + ω^{(T, t)} {\overset{⌒}{x}}^{(t)} + θ_{1} 。 (20) \end{matrix} \end{matrix}

又因为 $\begin{matrix} {\overset{⌒}{x}}^{(t)} \end{matrix}$ =(1-ρ) $\begin{matrix} {\overset{⌒}{x}}^{(t - 1)} \end{matrix}$ +ρx⁽^t⁾,将 $\begin{matrix} {\overset{⌒}{x}}^{(t)} \end{matrix}$ 代入(20)式,得到

\begin{matrix} \begin{matrix} ω^{(T, t)} x^{(t)} - μ^{(t)} = - ρ (1 - ρ) ω^{(T, t - 1)} {\overset{⌒}{x}}^{(t - 1)} - \\ {(1 - ρ)}^{2} μ^{(t - 2)} - {(1 - ρ)}^{2} ω^{(T, t)} {\overset{⌒}{x}}^{(t - 1)} + ρ (1 - ρ) ω^{(T, t)} x^{(t)} + θ_{1} 。 (21) \end{matrix} \end{matrix}

当相邻两帧无明显差异时,x⁽^t⁾与 $\begin{matrix} {\overset{⌒}{x}}^{(t)} \end{matrix}$ 及 $\begin{matrix} {\overset{⌒}{x}}^{(t - 1)} \end{matrix}$ 近似相等,则(21)式可化简为

\begin{matrix} \begin{matrix} ω^{(T, t)} x^{(t)} - μ^{(t)} = \\ ρ (1 - ρ) (ω^{(T, t)} - ω^{(T, t - 1)}) {\overset{⌒}{x}}^{(t - 1)} - \\ {(1 - ρ)}^{2} (ω^{(T, t)} {\overset{⌒}{x}}^{(t - 1)} - μ^{(t - 2)}) + θ_{2} 。 (22) \end{matrix} \end{matrix}

对(22)式进行化简处理,可得

\begin{matrix} \begin{matrix} ‖ ω^{(T, t)} x^{(t)} - μ^{(t)} ‖ \leq ‖ ρ (1 - ρ) (ω^{(T, t)} - ω^{(T, t - 1)}) {\overset{⌒}{x}}^{(t - 1)} ‖+ \\ ‖ {(1 - ρ)}^{2} (ω^{(T, t)} {\overset{⌒}{x}}^{(t - 1)} - μ^{(t - 2)}) ‖+‖ θ_{2} ‖ \leq \\ ρ (1 - ρ) ‖ (ω^{(T, t)} - ω^{(T, t - 1)}) ‖‖ {\overset{⌒}{x}}^{(t - 1)} ‖ + C 。 (23) \end{matrix} \end{matrix}

由(23)式可知,当‖ω⁽^t⁾-ω⁽^t^-1)‖取最小值时,‖ω^(T,^t⁾x⁽^t⁾-μ⁽^t⁾‖同样取得最小值,则只要求出‖ω⁽^t⁾-ω⁽^t^-1)‖的最优解,即可求出‖ω^(T,^t⁾x⁽^t⁾-μ⁽^t⁾‖的最优解。

由于 $\begin{matrix} ‖ ω^{(t)} - ω^{(t - 1)} ‖^{2} \end{matrix}$ 的求解过程较复杂,为进一步简化计算,引入新的变量 $\begin{matrix} β_{i}^{(t)} \end{matrix}$ ,并假设 $\begin{matrix} β_{i}^{(t)} \end{matrix}$ 与已有变量的关系为

\begin{matrix} \{\begin{matrix} 2 ε_{i} = β_{i}^{(t)} \\ 2 λω = \overset{M \times N}{\sum_{i = 1}} β_{i}^{(t)} φ_{i} \end{matrix} 。 (24) \end{matrix}

利用(24)式可以把对 $\begin{matrix} ‖ ω^{(t)} - ω^{(t - 1)} ‖^{2} \end{matrix}$ 的求解转化为对 $\begin{matrix} ‖ β^{(t)} - β^{(t - 1)} ‖^{2} \end{matrix}$ 的求解,并得出新的拉格朗日方程:

\begin{matrix} L_{p} (α| μ^{(t)}, σ^{(2, t)}) = - \frac{1}{4} \overset{}{\sum_{i}} β_{i}^{(2, t)} - \frac{1}{4 λ} \overset{}{\sum_{i, j}} β_{i}^{(t)} β_{j}^{(t)} K_{ij} + \overset{}{\sum_{i}} β_{i}^{(t)} y_{i} - s \overset{}{\sum_{i}} {(β_{i}^{(t)} - β_{i}^{(t - 1)})}^{2} - λ B^{2} 。 (25) \end{matrix}

\begin{matrix} 又因为 ω = \overset{}{\sum_{i}} α_{i}^{(t)} φ, 则可以得出 β_{i}^{(t)} = 2 λ α_{i}^{(t)} 。将 β_{i}^{(t)} 代入 (25) 式, 并将其转化为求最值的问题 : \end{matrix}

\begin{matrix} L = \max_{α, λ} [- λ^{2} \overset{}{\sum_{i}} α_{i}^{(2, t)} + 2 λ \overset{}{\sum_{i}} α_{i}^{(t)} y_{i} - λ \overset{}{\sum_{i, j}} α_{i}^{(t)} α_{j}^{(t)} K_{ij} - 4 λ^{2} s \overset{}{\sum_{i}} {(α_{i}^{(t)} - α_{i}^{(t - 1)})}^{2}] 。 (26) \end{matrix}

对(26)式中的参数λ求偏导数,可得:

\begin{matrix} (λI + 4 λI + K) α^{(t)} = y + 4 λs α^{(t - 1)} 。 (27) \end{matrix}

对(27)式进行傅里叶变换,得到

\begin{matrix} F (α| μ^{(t)}, σ^{(2, t)}) = \frac{F (y) + 4 λsF (α^{(t - 1)})}{F (k) + λ + 4 λs} 。 (28) \end{matrix}

对(28)式进行化简,可得

\begin{matrix} F (α| μ^{(t)}, σ^{(2, t)}) = \frac{F (k) + λ}{F (k) + λ + 4 λs} ☉ \frac{F (y)}{F (k) + λ} + [1 - \frac{F (k) + λ}{F (k) + λ + 4 λs}] ☉ F (α^{(t - 1)}) 。 (29) \end{matrix}

令τ= $\begin{matrix} \frac{F (k) + λ}{F (k) + λ + 4 λs} \end{matrix}$ ,并代入(29)式,可得

\begin{matrix} F (α | μ^{(t)}, σ^{(2, t)}) = τ ☉ F (α^{(t)}) + (1 - τ) ☉ F (α^{(t - 1)}), (30) \end{matrix}

式中:λ=λ₁+λ₂ $\begin{matrix} \overset{k}{\sum_{i = 1}} \end{matrix} \begin{matrix} {\overset{⌒}{a}}_{i}^{*} \end{matrix}$ ☉ $\begin{matrix} {\overset{⌒}{a}}_{i} \end{matrix}$ ;μ⁽^t⁾ 为数学期望;σ^(2,^t⁾为标准方差。

令输出y⁽^t⁾约束符合

\begin{matrix} |\frac{y^{(t)} - μ^{(t)}}{σ^{(t)}}| < R, (31) \end{matrix}

式中:R为约束参数。在本文提出的跟踪器中,根据(30)式对跟踪过程的滤波参数进行选出性更新。

2.3 算法的实现步骤

1)根据(9)式和(10)式可以计算出目标的最大响应值,根据最大响应值可以得到目标的位置。

2)如果处理的序列在前6帧之内,选择(14)式进行模型和滤波器的更新。

3)计算出前6帧目标位置的均值和方差,计算第n(n>6)帧的最大输出响应并得到目标位置。

4)将步骤3)中求得均值和方差代入(31)式,如果输出响应满足(31)式的约束条件,则选择(30)式进行滤波器更新;不满足约束条件,则选择(14)式进行滤波器更新。

3 实验结果与分析

将本文设计的基于高斯约束输出的上下文相关滤波跟踪算法(OCCACF)在跟踪标准测试集OTB-2013上与多种优秀跟踪算法进行对比,对比算法包括KCF算法^[11]、Staple算法^[12]、CACF算法^[13]、CSK算法^[14]、DSST算法^[15]、DFT算法^[16]和CT算法^[17]。采用精度和成功率作为本文的评价标准。实验平台为Intel^© Core^TM i5-4200 M CPU @2.5 Hz的个人计算机,在软件MATLAB 2016b上进行仿真实验。

3.1 参数设置

在本实验中核函数选择线性核函数,固定学习率设为η=0.01,正则参数λ₁=10^-4,λ₂=0.4。约束参数R=1.2,μ=0,σ²=0.2,其他参数设置与文献[ 13]的参数保持一致。

3.2 结果与分析

本小节将重点分析OCCACF算法和其他7种对比算法在标准测试集OTB-2013的不同属性下的精度和成功率,并抽取4组测试序列的实时跟踪结果进行分析。

表1给出了8种算法在OTB数据集上测试11种属性的成功率对比结果。从表1所示的各算法成功率的对比结果可以看出:本文算法在处理遮挡(OCC)、形变(DEF)、运动模糊(MF)、快速运动(FM)、光照变化(IV)、面外旋转(OPR)和尺度变化(SV)属性下的目标时都获得最佳性能;Staple算法只有在处理平面内旋转(IPR)属性下的目标时取得最优性能;CACF算法在处理低频(LR)、复杂背景(BC)和视野之外(OV)属性下的目标时才能取得最优性能;虽然本文算法在复杂背景、低频、面内旋转和视野之外的属性下未取得最优性能,但是在这4种属性下都取得了次优性能。本文算法的跟踪平均成功率比CACF算法的跟踪平均成功率提高了1.3个百分点,比KCF算法的跟踪平均成功率提高了14.5个百分点。

图1为8种算法在OTB数据集上测试的平均精度和成功率对比图,图1(a)为平均精度图(以中心位置误差阈值为横坐标,以精度为纵坐标)。由图1(a)可知:OCCACF算法的平均精度为83.4%,CACF算法的平均精度为80.3%,KCF算法的平均精度为74.0%。OCCACF算法的平均精度比CACF算法的平均精度提高了3.1个百分点,比KCF算法的平均精度提高了9.4个百分点,比CSK算法的平均精度提高了28.9个百分点。图1(b)为平均成功率对比图(以覆盖率阈值为横坐标,以成功率为纵坐标),可以看出,在这8种算法的对比中OCCACF算法具有最优性能。OCCACF算法的平均成功率比较为优秀的Staple算法提高了3个百分点,比DSST算法的平均成功率提高了9.8个百分点。从8种算法的平均精度和平均成功率的综合对比结果可以看出,本文提出的OCCACF算法具有一定的优势。

表 1. 8种算法在不同属性下的成功率对比

Table 1. Success rate of eight algorithms under different attributes

Algorithm	Success rate /%
Algorithm	OCC	DEF	MB	FM	IV	OPR	SV	IPR	LR	BC	OV
OCCACF	76.1	80.0	70.3	81.3	73.6	79.1	72.8	70.3	51.2	72.0	76.1
KCF	61.8	67.1	59.5	62.7	58.1	63.5	53.2	61.5	35.7	67.2	65.0
Staple	73.2	77.4	62.8	75.0	69.2	73.8	68.6	71.4	49.9	69.8	58.6
CACF	74.3	78.5	69.0	79.5	71.9	77.0	71.7	67.8	54.2	75.4	76.8
DSST	64.5	63.0	52.8	65.1	68.1	67.3	66.8	67.9	49.7	62.7	51.2
CSK	40.4	37.0	33.6	41.9	38.8	46.1	38.6	45.7	39.7	49.1	41.0
DFT	43.8	51.8	38.9	45.2	44.2	63.5	39.6	41.7	19.7	49.5	40.0
CT	27.4	28.4	14.9	21.0	22.5	25.4	26.3	23.0	12.6	28.1	24.7

查看所有表

图 1. 8种算法的测试结果对比。(a)精度;(b)成功率

Fig. 1. Comparison of test results of eight algorithms. (a) Precision; (b) success rate

下载图片查看所有图片

图2所示为针对尺度变化、旋转和快速运动3种属性在OTB-2013上测试的平均精度和成功率。从图2(a)、(b)可以看出:对于尺度变化属性下各种算法的跟踪精度和成功率,本文提出的OCCACF算法的精度比CACF算法提高了2.3个百分点,成功率提高了1.1个百分点;OCCACF算法的精度比DSST算法提高了5.3个百分点,成功率提高了6.0个百分点。图2(c)、(d)所示为平面外旋转属性下各算法的精度和成功率对比,可以看到:OCCACF算法在处理旋转时的精度比CACF算法提高了4.8个百分点,OCCACF算法的精度比Staple算法提高了6.7个百分点;OCCACF算法的成功率比CACF算法的成功率提高了2.1个百分点,OCCACF算法的成功率比Staple算法提高了5.3个百分点。图2(e)、(f)所示为快速运动属性下各算法的精度和成功率对比,可以看到:OCCACF算法的跟踪精度比CACF算法的跟踪精度提高了2.2个百分点;OCCACF算法的跟踪成功率比CACF算法的跟踪成功率提高了1.8个百分点,OCCACF算法的跟踪成功率比Staple算法的跟踪成功率提高了6.3个百分点。综上所述,本文提出的OCCACF算法在处理尺度变化、平面外旋转和快速运动引起的漂移问题时都取得了较好的性能指标,在一定程度上降低了漂移的发生概率。

图3所示为OCCACF算法和其他3种算法在OTB标准集中的部分视频序列的实际跟踪情况,对4组视频序列分别取3帧结果进行对比。Couple视频序列包含平面外旋转、快速运动和尺度变化属性,在第19帧左右目标发生平面变化,导致DSST跟踪器丢失目标;在第45帧左右目标发生了尺度变化,CT跟踪器跟踪失败;在第66帧左右目标开始快速移动,KCF跟踪器丢失目标;因此测试couple序列时,只有OCCACF跟踪器获得了较好的跟踪效果。Jogging视频序列主要包含遮挡和形变属性,在第30帧左右除KCF有少许波动外,其他跟踪器均没有变化;在第54帧左右目标出现了较大面积的遮挡,只有OCCACF跟踪器能够继续跟踪目标,其他跟踪器均丢失目标。Jumping视频序列主要测试运动模糊时的跟踪性能,当视频中的男孩开始跳动时,只有KCF跟踪器丢失目标;随着跳动速度的加快,只有OCCACF跟踪器能够跟踪目标。Lemming视频序列包含了光照变化、平面外旋转、尺度变化、遮挡、形变和快速运动属性,从选取的3帧测试结果可以看到,只有本文提出的跟踪器可以同时应对lemming序列的多种变化。综上所述,本文提出的跟踪器具有较高的稳健性。

图 2. 不同属性下测试的平均精度和成功率。(a)(b)尺度变化;(c)(d)平面外旋转;(e)(f)快速运动

Fig. 2. Average precision and success rate under different attributes. (a)(b) Scale variation; (c)(d) out of plane rotation; (e)(f) fast motion

下载图片查看所有图片

图 3. 部分视频序列的实际跟踪情况。(a) Couple;(b) jogging;(c) jumping;(d) lemming

Fig. 3. Actual tracking results of part of video sequences. (a) Couple; (b) jogging; (c) jumping; (d) lemming

下载图片查看所有图片

4 结论

设计了一种高斯约束输出的目标跟踪算法,该跟踪算法针对不同的输出结果选取不同的学习率更新滤波器。该算法可减少在传统目标算法中采用固定更新参数导致的模型更新错误,并在一定程度上减少目标跟踪过程中因目标的快速移动、形变和遮挡等情况产生的漂移。实验表明,本文设计的OCCACF算法在遮挡、快速移动、形变、尺度变化等复杂背景的干扰下均能取得稳定的跟踪结果。

参考文献

[1] 侯志强, 韩崇昭. 视觉跟踪技术综述[J]. 自动化学报, 2006, 32(4): 603-617.

Hou Z Q, Han C Z. A survey of visual tracking[J]. Acta Automatica Sinica, 2006, 32(4): 603-617.

[2] 王艳川, 黄海, 李邵梅, 等. 基于在线检测和尺度自适应的相关滤波跟踪[J]. 光学学报, 2018, 38(2): 0215002.

Wang Y C, Huang H, Li S M, et al. Correlation filter tracking based on online detection and scale-adaption[J]. Acta Optica Sinica, 2018, 38(2): 0215002.

[3] Hare S, Golodetz S, Saffari A, et al. Struck: structured output tracking with kernels[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(10): 2096-2109.

[4] YaoR, ShiQ, ShenC, et al. Part-based visual tracking with online latent structural learning[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2013, Portland, Oregon. New York: IEEE, 2013: 2363- 2370.

[5] Zhang K H, Zhang L, Yang M H. Fast compressive tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(10): 2002-2015.

[6] 宋日成, 何小海, 王正勇. 基于方向可靠性的互补跟踪算法[J]. 光学学报, 2018, 38(10): 1015001.

Song R C, He X H, Wang Z Y. Complementary object tracking based on directional reliability[J]. Acta Optica Sinica, 2018, 38(10): 1015001.

[7] Nithin K, Bremond F. Globality-locality-based consistent discriminant feature ensemble for multicamera tracking[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27(3): 431-440.

[8] Cong Y, Fan B J, Liu J, et al. Speeded up low-rank online metric learning for object tracking[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 25(6): 922-934.

[9] Bolme DS, Beveridge JR, Draper BA, et al. Visual object tracking using adaptive correlation filters[C]∥2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 13-18, 2010, San Francisco, CA, USA. New York: IEEE, 2010: 2544- 2550.

[10] DanelljanM, Khan FS, FelsbergM, et al. Adaptive color attributes for real-time visual tracking[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA. New York: IEEE, 2014: 1090- 1097.

[11] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.

[12] BertinettoL, ValmadreJ, GolodetzS, et al. Staple: complementary learners for real-time tracking[C]∥IEEE Conference on Computer Vision and Pattern Recognition, June 26-July 1, 2016, Las Vegas, Nevada. New York: IEEE, 2016: 1401- 1409.

[13] MuellerM, SmithN, GhanemB. Context-aware correlation filter tracking[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA. New York: IEEE, 2017: 1387- 1395.

[14] Henriques JF, CaseiroR, MartinsP, et al. Exploiting the circulant structure of tracking-by-detection with kernels[M] ∥Fitzgibbon A, Lazebnik S, Perona P, et al. Computer vision-ECCV 2012. Lecture notes in computer science. Heidelberg: Springer, 2012, 7575: 702- 715.

[15] DanelljanM, HägerG, Shahbaz KF, et al.Accurate scale estimation for robust visual tracking[C]∥Proceedings of the British Machine Vision Conference, September 1-5, 2014, Nottingham, University of Nottingham.UK: BMVA Press, 2014.

[16] Sevilla-LaraL, Learned-MillerE. Distribution fields for tracking[C]∥2012 IEEE Conference on Computer Vision and Pattern Recognition, June 16-21, 2012, Providence, RI, USA. New York: IEEE, 2012: 1910- 1917.

[17] Zhang KH, ZhangL, Yang MH. Real-time compressive tracking[M] ∥Fitzgibbon A, Lazebnik S, Perona P, et al. Computer vision - ECCV 2012. Lecture notes in computer science. Heidelberg: Springer, 2012, 7574: 864- 877.

许敬祥, 伍雪冬, 杨开运. 基于高斯输出约束的上下文相关滤波跟踪[J]. 激光与光电子学进展, 2020, 57(4): 041508. Jingxiang Xu, Xuedong Wu, Kaiyun Yang. Context-Aware Correlation Filter Tracking Based on Gaussian Output Constraint[J]. Laser & Optoelectronics Progress, 2020, 57(4): 041508.

基于高斯输出约束的上下文相关滤波跟踪下载： 838次

1 引言

2 研究方法

2.1 CACF分类器

2.2 约束输出的滤波器更新

2.3 算法的实现步骤

3 实验结果与分析

3.1 参数设置

3.2 结果与分析

表 1. 8种算法在不同属性下的成功率对比

Table 1. Success rate of eight algorithms under different attributes

图 1. 8种算法的测试结果对比。(a)精度;(b)成功率

Fig. 1. Comparison of test results of eight algorithms. (a) Precision; (b) success rate

图 2. 不同属性下测试的平均精度和成功率。(a)(b)尺度变化;(c)(d)平面外旋转;(e)(f)快速运动

Fig. 2. Average precision and success rate under different attributes. (a)(b) Scale variation; (c)(d) out of plane rotation; (e)(f) fast motion

图 3. 部分视频序列的实际跟踪情况。(a) Couple;(b) jogging;(c) jumping;(d) lemming

Fig. 3. Actual tracking results of part of video sequences. (a) Couple; (b) jogging; (c) jumping; (d) lemming

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于高斯输出约束的上下文相关滤波跟踪 下载： 838次

1 引言

2 研究方法

2.1 CACF分类器

2.2 约束输出的滤波器更新

2.3 算法的实现步骤

3 实验结果与分析

3.1 参数设置

3.2 结果与分析

表 1. 8种算法在不同属性下的成功率对比

Table 1. Success rate of eight algorithms under different attributes

图 1. 8种算法的测试结果对比。(a)精度;(b)成功率

Fig. 1. Comparison of test results of eight algorithms. (a) Precision; (b) success rate

图 2. 不同属性下测试的平均精度和成功率。(a)(b)尺度变化;(c)(d)平面外旋转;(e)(f)快速运动

Fig. 2. Average precision and success rate under different attributes. (a)(b) Scale variation; (c)(d) out of plane rotation; (e)(f) fast motion

图 3. 部分视频序列的实际跟踪情况。(a) Couple;(b) jogging;(c) jumping;(d) lemming

Fig. 3. Actual tracking results of part of video sequences. (a) Couple; (b) jogging; (c) jumping; (d) lemming

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于高斯输出约束的上下文相关滤波跟踪下载： 838次