基于引导滤波和核相关滤波的红外弱小目标跟踪 下载: 1012次
1 引言
红外监视与跟踪系统因其隐蔽性强和实时性好等特点,被广泛应用于**和民用领域。当系统作用距离较远时,目标只占图像中的少量像素,缺少细节纹理信息,且目标通常淹没在复杂背景中,其信噪比较低。另外,红外弱小目标机动性能的不断提高,对跟踪算法的稳健性及实时性也提出了更高要求。
近年来,研究人员针对红外弱小目标提出了许多检测跟踪算法。贾桂敏等[1]提出了一种自适应模板更新匹配算法,该算法根据模板图像各像素到模板中心的距离构造加权函数,改进了传统归一化相关算法,取得了较好的效果。但当背景杂波较强时,该算法较易产生累计误差,难以保证对小目标长时间准确跟踪。改进的粒子滤波(PF)算法[2-3]利用非负矩阵分解融合当前与之前的粒子分布权重,减小了传统PF算法退化发散带来的精度误差,取得了较好的跟踪效果。但改进的粒子滤波算法仅利用目标位置及速度状态进行特征滤波以维持跟踪,而对形状特征信息无考虑,故暂不适用于小目标跟踪。基于均值漂移和粒子滤波(MS-PF)的跟踪算法[3-5],利用图像的统计特性对目标进行描述,在粒子滤波理论框架下,对随机粒子进行重新分配,在均值漂移迭代过程中对样本权值进行更新,一定程度上避免了目标特征信息不足的缺陷,但该方法不能很好地区分小目标和与背景边缘。移动管道滤波(MPF)算法[6-7]利用相邻帧间位置具有连贯性的特征,建立了一种弱小目标运动方向估计模型,可估计弱小目标的运动方向和轨迹。但当背景云层运动缓慢时,该算法较易产生虚警。He等[8]提出了权值相关滤波(WCF),利用低秩表示和融合不同目标的多特征函数以进行检测和滤波,从而获取目标位置。但当目标速度较快且超出搜索范围时,该算法并不能再次检测到目标。
核相关滤波(KCF)跟踪算法[9-12]是目前视觉跟踪领域的一个前沿方向,但其跟踪红外弱小目标存在偏移。本文提出一种基于引导滤波(GIF)和KCF的红外弱小目标跟踪算法以解决偏移问题。实验结果表明,该算法在红外弱小目标跟踪上具有可行性。
2 KCF跟踪算法分析
2.1 KCF跟踪算法
KCF跟踪算法利用循环矩阵在跟踪目标区域密集采样,以构造大量的样本训练分类器,从而得到准确的分类器参数。使用核方法计算新一帧图像搜索区域与跟踪目标的相似度时,选取响应最大的点作为目标的新位置。同时,利用离散傅里叶变换减少分类器训练和跟踪过程中的运算量,提升计算速度。
2.1.1 循环矩阵
利用置换矩阵
式中F(·)和diag(·)分别表示傅里叶变换和对角化操作,
2.1.2 KCF分类器训练
岭回归是改进以后的正则化最小二乘模型,岭回归对于任意输入都有简单的闭式最优解。利用训练样本(
式中min(·)表示最小化操作,
利用核函数可以把(2)式的解表示为输入
式中
式中
式中
2.1.3 快速检测
处理第
式中
第
式中
对(9)式进行离散傅里叶变换,得到响应
2.2 偏移分析
KCF算法利用基样本灰度特征实现跟踪,但是红外弱小目标的灰度特征不足以区分出云层背景边缘和红外弱小目标。由(6)式可知,分类器参数
因此,为获得理想跟踪效果,滤除基样本云层边缘的同时保留红外弱小目标,从而减弱云层背景杂波的影响,即以一种合适的滤波方法分离基样本中同属高频成分的云层背景边缘和红外弱小目标。
3 基于GIF的KCF跟踪算法
为分离同属高频成分的云层背景边缘和红外弱小目标,引入GIF对基样本进行处理,然后结合KCF算法实现红外弱小目标的跟踪。
3.1 GIF算法
GIF是一种局部线性可变的自适应滤波器[13-16],具有保边去噪的特点。包括引导图像
式中
式中
式中
GIF简化了输入基样本与输出基样本之间的关系,将输出基样本定义为一个与引导图像有关的局部线性模型,并且使用引导图像来指导输入基样本的滤波过程。输入基样本可被看成是多个局部线性关系的总和,只要分别对每一个局部线性关系滤波,最终就能获得输入基样本的滤波结果。由于局部线性模型是线性的,因此GIF输出基样本在梯度上与输入基样本保持一致,从而达到保持边缘的目的。当
引入GIF以后,根据(6)式,
式中
为进一步说明GIF保边去噪的特性,进行了仿真实验,取(12)式中的
图 1. 引导滤波处理示意图。(a)原图;(b)引导滤波处理结果;(c)残差图像
Fig. 1. Schematic of GIF processing. (a) Original image; (b) result by GIF processing; (c) residual image
由
3.2 GIF-KCF
为解决KCF算法跟踪红外弱小目标的偏移问题,采用上述GIF对基样本进行处理,并用基样本减去滤波后的结果进行GIF-KCF跟踪。基于GIF和KCF的红外弱小目标跟踪算法的具体步骤如下。
第一步,跟踪初始化。
a) 在第1帧中手动选取目标,目标图像块像素大小是7 pixel×7 pixel,图像块中心代表目标位置,手动选取原则一般是使目标形心在图像块中心。
b) 初始化基样本大小,以及(2)式中的正则化参数
第二步,当处理第(
根据(14)式计算红外弱小目标分类器参数
第三步,当处理第
式中
第四步,使用
第五步,重复步骤二,对下一帧进行处理。
4 实验结果及分析
为验证所提跟踪算法的有效性,采用6组帧频为25 frame/s的红外弱小目标图像序列来验证所提算法的性能。6组实验图像序列指标统计见
表 1. 实验图像序列指标统计
Table 1. Statistics of experimental image sequence candidates
|
实验中使用的红外相机工作波段为8~14 μm,分辨率为625 pixel×480 pixel。图像序列Bright cloud、Thick cloud 1和Thick cloud 2是在真实红外复杂天空背景图像序列中按照仿真红外弱小目标图像序列的图像尺寸、总帧数、目标大小、目标信噪比、目标运动速度和目标运动轨迹生成的仿真红外弱小目标图像序列[17]。图像序列Bright cloud中目标沿曲线运动,且由简单背景区域运动至亮云背景区域,其他指标见
使用所提算法对红外弱小目标图像序列中弱小目标进行跟踪,分析跟踪性能,并与经典的MPF[7]、KCF[9]、MS-PF[ 4]、WCF[8]和GIF-STC[13]的跟踪性能进行比较。
目标的初始位置由手动框出,跟踪框大小为7 pixel×7 pixel,以使其能完全包含小目标,跟踪框中心就是目标的位置,样本大小设为跟踪框的5~8倍。参考KCF算法[12],(2)式中
仿真结果如
图 3. 不同背景下的跟踪结果。(a) Bright cloud; (b) thick cloud 1; (c) thick cloud 2; (d) plane 1; (e) plane 2; (f) plane 3
Fig. 3. Tracking results under different backgrounds. (a) Bright cloud; (b) thick cloud 1; (c) thick cloud 2; (d) plane 1; (e) plane 2; (f) plane 3
在Thick cloud 1图像序列中,云层背景复杂,并且小目标运动较快。在第50帧处,除了KCF其他5种算法都可以对目标准确跟踪,在第120帧、210帧和250帧处,当目标运动到图像云层边缘变化明显区域时,MPF将图像中其他高频点误认为目标,导致跟踪失败;目标淹没在复杂云层背景中,导致KCF、MS-PF和WCF算法失效,而GIF-STC和GIF-KCF能够克服复杂云层背景对目标进行有效跟踪。
在Thick cloud 2图像序列中,云层背景非常复杂,并且小目标运动也较快。在第50帧、100帧、200帧和250帧处,目标沿着图像左上角到右下角的对角线运动,由于图像左上角处背景云层复杂,杂波强烈,目标淹没在云层背景中,导致MPF、KCF、MS-PF和WCF无法对小目标进行有效跟踪。
在Plane 1图像序列中,在第17帧处,目标在均匀灰度背景中,6种算法都有效,在第55帧、第85帧和115帧处,当目标在图像上的像素坐标为(72, 127)时,云层背景灰度变化剧烈,目标淹没在背景中,导致MPF、KCF、MS-PF和WCF算法相继失效。在Plane 1图像序列中的第63和64帧之间,目标运动很快,上下文区域内引入较多背景杂波,导致跟踪发生偏移。
在Plane 2图像序列中,由于真实图像的晃动,MPF算法失效。在第330帧处,当目标在图像上的像素坐标为(186, 96)时,图像背景上存在固定噪声,导致KCF、WCF跟踪失败。当目标由较暗云层背景运动进较亮云层背景时,MS-PF跟踪失败。GIF-STC克服了图像上的固定噪声,但当目标继续运动到第450帧时,目标运动较快,上下文区域内引入较多背景杂波,导致后续跟踪全部发生偏移,但是GIF-KCF跟踪效果较好。
在Plane 3图像序列中,天空背景较简单,图像中包含了一部分复杂地面目标,MPF将地面目标中某个高频点作为目标,出现虚警。在第20帧和第110帧处,其他5种算法都能够对目标实现有效跟踪,在第250帧和第310帧处,目标信噪比较低,导致WCF、KCF和MS-PF相继失效。GIF-STC和GIF-KCF能对目标实现有效跟踪,算法适应性较好。
为进一步定量分析算法的跟踪性能,参考文献[
13]评价标准,即从中心误差
表 2. 跟踪算法的性能比较
Table 2. Performance comparison of tracking algorithms
|
图 4. 不同背景下的中心误差。(a) Bright cloud; (b) thick cloud 1; (c) thick cloud 2; (d) plane 1; (e) plane 2; (f) plane 3
Fig. 4. Center location errors under different backgrounds. (a) Bright cloud; (b) thick cloud 1; (c) thick cloud 2; (d) plane 1; (e) plane 2; (f) plane 3
从
在
综上所述,在主观视觉和客观评价指标方面,所提算法效果较好,所提算法能够较好地实现红外弱小目标的跟踪。
5 结论
针对红外复杂天空背景中红外弱小目标跟踪的偏移问题,提出了一种基于引导滤波和核相关滤波的跟踪算法,该算法首先利用具有保边去噪特性的图像引导滤波来处理基样本,从而获得较为准确的分类器参数,最后利用小目标的响应图来估计出目标位置。实验结果表明,该算法具有较高的准确率和较好的实时性。
[1] 贾桂敏, 王向军, 张世海. 复杂背景下基于自适应模板更新的目标跟踪算法[J]. 光学学报, 2009, 29(3): 659-663.
贾桂敏, 王向军, 张世海. 复杂背景下基于自适应模板更新的目标跟踪算法[J]. 光学学报, 2009, 29(3): 659-663.
[2] 叶有时, 刘淑芬, 孙强, 等. 改进粒子滤波算法在深空红外小目标跟踪中的应用[J]. 电子学报, 2015, 43(8): 1503-1512.
叶有时, 刘淑芬, 孙强, 等. 改进粒子滤波算法在深空红外小目标跟踪中的应用[J]. 电子学报, 2015, 43(8): 1503-1512.
Ye Y S, Liu S F, Sun Q, et al. Application of improved particle filter algorithm in deep space infrared small target tracking[J]. Acta Electronica Sinica, 2015, 43(8): 1503-1512.
[3] 王玲玲, 辛云宏. 基于形态学与遗传粒子滤波器的红外小目标检测与跟踪算法[J]. 光子学报, 2013, 42(7): 849-856.
王玲玲, 辛云宏. 基于形态学与遗传粒子滤波器的红外小目标检测与跟踪算法[J]. 光子学报, 2013, 42(7): 849-856.
[4] 魏坤, 赵永强, 潘泉, 等. 基于均值漂移和粒子滤波的红外目标跟踪[J]. 光电子·激光, 2008, 19(2): 213-217.
魏坤, 赵永强, 潘泉, 等. 基于均值漂移和粒子滤波的红外目标跟踪[J]. 光电子·激光, 2008, 19(2): 213-217.
Wei K, Zhao Y Q, Pan Q, et al. IR target tracking based on mean shift and particle filter[J]. Journal of Optoelectronics·Laser, 2008, 19(2): 213-217.
[5] 张一帆, 田雁, 杨帆, 等. 基于改进Mean-Shift算法的红外小目标跟踪[J]. 红外与激光工程, 2014, 43(7): 2164-2169.
张一帆, 田雁, 杨帆, 等. 基于改进Mean-Shift算法的红外小目标跟踪[J]. 红外与激光工程, 2014, 43(7): 2164-2169.
Zhang Y F, Tian Y, Yang F, et al. Infrared dim target tracking based on improved mean-shift[J]. Infrared and Laser Engineering, 2014, 43(7): 2164-2169.
[6] 赵小明, 袁胜春, 马晓丽, 等. 基于移动式管道滤波的红外小目标检测方法研究[J]. 红外技术, 2009, 31(5): 295-297.
赵小明, 袁胜春, 马晓丽, 等. 基于移动式管道滤波的红外小目标检测方法研究[J]. 红外技术, 2009, 31(5): 295-297.
Zhao X M, Yuan S F, Ma X L, et al. Research on infrared small target detection technique based on moving pipeline filtering[J]. Infrared Technology, 2009, 31(5): 295-297.
[7] 董维科, 张建奇, 刘德连, 等. 基于运动方向估计的管道滤波算法[J]. 光子学报, 2013, 42(4): 471-474.
董维科, 张建奇, 刘德连, 等. 基于运动方向估计的管道滤波算法[J]. 光子学报, 2013, 42(4): 471-474.
[9] 杨德东, 蔡玉柱, 毛宁, 等. 采用核相关滤波器的长期目标跟踪[J]. 光学精密工程, 2016, 24(8): 2037-2047.
杨德东, 蔡玉柱, 毛宁, 等. 采用核相关滤波器的长期目标跟踪[J]. 光学精密工程, 2016, 24(8): 2037-2047.
[10] 沈秋, 严小乐, 刘霖枫, 等. 基于自适应特征选择的多尺度相关滤波跟踪[J]. 光学学报, 2017, 37(5): 0515001.
沈秋, 严小乐, 刘霖枫, 等. 基于自适应特征选择的多尺度相关滤波跟踪[J]. 光学学报, 2017, 37(5): 0515001.
[13] 钱琨, 周慧鑫, 秦翰林, 等. 基于引导滤波与时空上下文的红外弱小目标跟踪[J]. 光子学报, 2015, 44(9): 091003.
钱琨, 周慧鑫, 秦翰林, 等. 基于引导滤波与时空上下文的红外弱小目标跟踪[J]. 光子学报, 2015, 44(9): 091003.
Qian K, Zhou H X, Qin H L, et al. Infrared dim-small target tracking based on guide filter and spatio-temporal context learning[J]. Acta Photonica Sinica, 2015, 44(9): 091003.
[14] Li Z G, Zheng J H, Zhu Z J, et al. Weighted guided image filtering[J]. IEEE Transactions on Image Processing, 2015, 24(1): 120-129.
Li Z G, Zheng J H, Zhu Z J, et al. Weighted guided image filtering[J]. IEEE Transactions on Image Processing, 2015, 24(1): 120-129.
[17] 何玉杰, 李敏, 张金利, 等. 基于相关滤波器的红外弱小目标检测算法[J]. 光学学报, 2016, 36(5): 0512001.
何玉杰, 李敏, 张金利, 等. 基于相关滤波器的红外弱小目标检测算法[J]. 光学学报, 2016, 36(5): 0512001.
赵东, 周慧鑫, 秦翰林, 钱琨, 荣生辉, 成宽洪, 宋尚真. 基于引导滤波和核相关滤波的红外弱小目标跟踪[J]. 光学学报, 2018, 38(2): 0204004. Dong Zhao, Huixin Zhou, Hanlin Qin, Kun Qian, Shenghui Rong, Kuanhong Cheng, Shangzhen Song. Infrared Dim-Small Target Tracking Based on Guided Image Filtering and Kernelized Correlation Filtering[J]. Acta Optica Sinica, 2018, 38(2): 0204004.