1 通感融合光子技术教育部重点实验室，广东省信息光子技术重点实验室，广东工业大学信息工程学院，先进光子技术研究院，广东 广州 510006
2 南方海洋科学与工程广东省实验室（珠海），广东 珠海 519082
3 光场调控与信息感知工业和信息化部重点实验室，陕西省信息光子技术重点实验室，西北工业大学物理科学与技术学院，陕西 西安 710129
提出一种跨模态光学信息交互和模板动态更新的可见光和热红外（RGBT）跟踪方法，选取能够在跟踪速度和精度上取得平衡的Siamese跟踪器作为基本框架，并设计特征交互模块以重构不同模态的信息比例和增强模态间信息交流。在此基础上，基于无锚框的思想构建预测网络，以提升跟踪器的灵活性和通用性，同时提出一种模板动态更新的策略，通过动态更新跟踪模板增强模型对变化目标的适应能力。在GTOT等3个基准数据集上的对比实验表明，所提方法可显著提升跟踪器在复杂环境下的目标跟踪性能。
机器视觉 计算机视觉 目标跟踪 孪生网络 模板更新
1 桂林电子科技大学,广西精密导航技术与应用重点实验室
2 桂林电子科技大学,信息与通信学院
3 卫星导航定位与位置服务国家地方联合工程研究中心, 广西 桂林 541000
4 桂林电子科技大学,电子工程与自动化学院,广西 桂林 541000
为改进在复杂场景下的跟踪性能, 提出了一种特征增强和双模板更新的目标跟踪算法。首先, 提出了一种改进的特征提取网络, 并将深层特征和浅层特征融合, 再利用通道空间注意力模块对该融合特征进行强化, 获得表征能力增强的特征。其次, 提出了一种双模板更新策略, 将近邻高置信度图像帧保留为备份模板, 当跟踪响应图置信度较低时, 将初始模板与备份模板进行加权融合得到新的模板, 再重新进行跟踪预测。最后, 在数据集OTB-100和VOT-2017上进行跟踪性能评估, 实验结果表明, 所提算法提升了在遮挡、光照变化、背景杂乱等复杂场景下的跟踪成功率和跟踪准确率。
目标跟踪 特征融合 注意力模块 模板更新 object tracking feature fusion attention module template updating
1 中国科学院光电技术研究所,成都 610200
2 中国科学院大学 电子电气与通信工程学院,北京 101408
基于孪生网络的跟踪器受限于孪生网络跟踪框架固有的跟踪机制和搜索区域选择机制,当目标处在被遮挡、快速运动和出视野等困难场景下时,如何稳定、鲁棒地进行目标跟踪始终是孪生网络跟踪器亟需解决的问题。为此,文章提出一种结合光流的孪生区域提名网络目标跟踪算法（GOF-SiamRPN）。通过全局光流对目标的运动趋势信息进行补充,该方法可以有效地解决在这些困难场景下的跟踪问题。在VOT2019和UAV123上的实验结果表明,相比基准方法,该算法分别取得了2.0%和1.8%的性能提升。与其他先进的跟踪器相比,该算法也取得了有竞争力的跟踪效果。
目标跟踪 光流 孪生区域提名网络 object tracking optical flow Siamese region proposal network
1 无锡学院 物联网工程学院，江苏 无锡 214105
2 长春工业大学 计算机科学与工程学院，吉林 长春 130012
3 中国北方车辆研究所，北京 100072
4 吉林农业大学 信息技术学院，吉林 长春 130118
实时多目标跟踪算法取得了理想的跟踪性能，但大多数现有算法的跟踪速度较慢，且随着背景复杂度的增加，跟踪精度也随之降低。针对此问题，本文提出了基于在线数据关联的行人实时跟踪算法。首先，设计了核相关滤波和卡尔曼滤波双轨道预测机制，配合DeepSORT中的级联匹配形成了预测-跟踪-校准体系，使数据关联更加可靠。此外，在目标检测部分引入了注意力机制，通过强化目标对象的位置信息增强特征表示能力，从而提升跟踪的精度。该模型在MOT16数据集上的MOTA达到了66.5%、IDF1达到了64.2%、IDSW达到了641。与DeepSORT算法对比，MOTA和IDF1分别提升了13%和13.2%，IDSW下降了410。本文算法有助于解决行人实时跟踪时出现的目标误检、漏检等问题，在跟踪中对严重遮挡情况仍保持了较高的跟踪精度，在复杂环境下可以实现行人实时稳定跟踪。
多目标跟踪 实时跟踪 YOLOv5 核相关滤波算法 DeepSORT multiple object tracking online tracking YOLOv5 kernelized correlation filters DeepSORT
1 北京理工大学光电学院光电成像技术与系统教育部重点实验室，北京 100081
2 北京理工大学重庆创新中心，重庆 401120
3 北方自动控制技术研究所，山西 太原 030006
单目标跟踪是计算机视觉领域重要的分支，旨在对视频序列中的指定目标进行连续跟踪。近年来，基于深度学习的单目标跟踪方法发展迅猛，其中基于孪生网络的双流跟踪方法和基于Transformer的单流跟踪方法是两种基础架构。本文从原理、组成结构、局限性及未来发展方向等角度对这两种架构进行了全面介绍与分析。另外，数据集是方法训练及评测的基石，本文汇总了当前主流的深度学习单目标跟踪数据集，详细阐述了跟踪方法在数据集上的评测方式及评测指标，并总结了多种方法在数据集上的表现。最后，从宏观角度分析了深度学习目标跟踪方法的未来发展趋势，以期为相关研究人员提供参考。
深度学习目标跟踪 单目标跟踪 深度学习 孪生网络 Transformer 光学学报
2023, 43(15): 1510003
西安工业大学兵器科学与技术学院，陕西 西安 710021
针对热红外图像中目标缺少细节信息而导致跟踪精度不高的问题，提出一种基于位置感知的目标跟踪方法。首先使用深度空洞残差网络（D-ResNet）提取语义特征，鲁棒表征热红外目标；然后设计位置感知模块，有效感知目标在特征图上的空间位置，提高算法的定位精度；并引入通道注意力模块，在通道域上筛选特征图信息，抑制干扰信息；接着引入区域提取网络，完成目标分类和边框回归；最后使用RGBT234热红外序列对网络进行微调，确保网络能有效学习热红外目标信息。所提方法在VOT-TIR2019、GTOT数据集上分别获得75.3%和91.4%的准确率，速度为30 frame/s。实验结果表明：所提方法在热红外场景下能获得较高的跟踪精度，并能有效应对遮挡、相似物干扰、尺度变化等目标跟踪过程中的常见挑战。
热红外目标跟踪 位置感知 通道注意力 深度空洞残差网络 激光与光电子学进展
2023, 60(12): 1210007
华中科技大学 人工智能与自动化学院，湖北 武汉 430074
近年来，基于孪生网络的方法在视觉目标跟踪中取得了巨大的进步，但是这类方法在处理跟踪中的目标状态估计以及复杂场景干扰中仍存在较大的提升空间。随着深度学习在目标检测领域取得的成功，越来越多的研究将其成果用于指导目标跟踪技术的发展。对融合检测技术的孪生目标跟踪算法进行了综述。首先介绍检测和跟踪的联系与区别，同时分析检测技术对改进基于孪生网络的跟踪算法的可行性；然后阐述在不同检测框架指导下的孪生目标跟踪算法，以及使用OTB100、VOT2018、GOT-10k和LaSOT公开数据集对各类算法进行对比和分析；最后对全文进行总结，并对目标跟踪的未来发展方向进行展望。
目标跟踪 深度学习 孪生网络 目标检测 object tracking deep learning siamese network object detection 红外与激光工程
2022, 51(10): 20220042
