1 西京学院 材料与能源科学技术研究院,陕西 西安 710123
2 北京星航机电装备有限公司,北京 100074
3 西北工业大学 光电与智能研究院,陕西 西安 710072
在计算机视觉领域中,基于孪生网络的跟踪算法相比于传统算法提高了精度和速度,但是仍会受到目标遮挡、变形、环境变化等影响,导致孪生网络的跟踪算法的性能降低。为了深入了解基于孪生网络的单目标跟踪算法,本文对现有基于孪生网络目标跟踪算法进行了总结和分析,主要包括在孪生网络中引入注意力机制方法、超参数推理方法和模板更新方法,对这3种方法的目标跟踪算法进行了综述,详细介绍了国内外近几年基于孪生网络的算法研究和发展现状。对3个方面的代表算法采用VOT2016、VOT2017、VOT2018和OTB-2015数据集进行实验对比,获得了多种基于孪生网络的目标跟踪算法的性能。最后对基于孪生网络的目标跟踪算法进行了总结,并对未来的发展方向进行了展望。
计算机视觉 目标跟踪 孪生网络 深度学习 computer vision target tracking Siamese networks deep learning
1 通感融合光子技术教育部重点实验室,广东省信息光子技术重点实验室,广东工业大学信息工程学院,先进光子技术研究院,广东 广州 510006
2 南方海洋科学与工程广东省实验室(珠海),广东 珠海 519082
3 光场调控与信息感知工业和信息化部重点实验室,陕西省信息光子技术重点实验室,西北工业大学物理科学与技术学院,陕西 西安 710129
提出一种跨模态光学信息交互和模板动态更新的可见光和热红外(RGBT)跟踪方法,选取能够在跟踪速度和精度上取得平衡的Siamese跟踪器作为基本框架,并设计特征交互模块以重构不同模态的信息比例和增强模态间信息交流。在此基础上,基于无锚框的思想构建预测网络,以提升跟踪器的灵活性和通用性,同时提出一种模板动态更新的策略,通过动态更新跟踪模板增强模型对变化目标的适应能力。在GTOT等3个基准数据集上的对比实验表明,所提方法可显著提升跟踪器在复杂环境下的目标跟踪性能。
机器视觉 计算机视觉 目标跟踪 孪生网络 模板更新
1 天津大学精密仪器与光电子工程学院,天津 300073
2 天津大学光电信息技术教育部重点实验室,天津 300073
针对孪生架构单目标跟踪算法存在的目标状态更新不及时的问题,基于模板与记忆信息动态融合的跟踪策略,提出一种通用的模板更新机制。该机制采用双模块融合的更新策略:通过记忆融合模块融合搜索图像特征的短期记忆信息,获得目标变化情况;将前一帧可信的跟踪结果作为动态模板,从相关特征的角度,通过权重融合模块对原始模板和动态模板进行加权融合,通过结合跟踪过程的原始记忆与短期记忆实现更准确的目标定位。将模板更新机制应用于SiamRPN、SiamRPN++和RBO三种主流算法,并在VOT2019公开数据集上进行实验验证。结果表明:应用该机制后算法的性能得到了有效提升,具体而言,在SiamRPN++算法中,平均重叠期望值提升了6.67%,准确性提升了0.17%,鲁棒性下降了5.39%;此外,在遮挡、形变和背景干扰等复杂场景下,添加模板更新机制的SiamRPN++算法展现出较好的跟踪性能。
目标跟踪 孪生网络 模板更新 记忆信息 激光与光电子学进展
2024, 61(8): 0837006
1 福建师范大学医学光电科学与技术教育部重点实验室,福建 福州 350007
2 福建省光子技术重点实验室,福建 福州 350007
3 福建省光电传感应用工程技术研究中心,福建 福州 350007
4 广州工业智能研究院,广东 广州 511458
环境感知是无人驾驶的关键技术,针对相机缺乏深度信息无法定位检测目标以及目标跟踪精度较差的问题,提出一种基于相机与激光雷达融合的目标定位与跟踪算法。该算法通过图像检测框内的激光雷达点云簇在像素平面的面积比例大小获得检测目标的定位信息,然后根据检测目标的轮廓点云在像素坐标系下的横向移动速度和纵向移动速度融合图像检测框中心坐标提高目标跟踪精度。实验结果表明:所提目标定位算法正确率为88.5417%,且平均每帧处理时间仅为0.03 s,满足实时性要求;图像检测框中心横坐标的平均误差为4.49 pixel,纵坐标的平均误差为1.80 pixel,平均区域重叠率为87.42%。
传感器融合 机器视觉 3D激光雷达 目标定位 目标跟踪 激光与光电子学进展
2024, 61(8): 0828004
沧州交通学院电子与电气工程学院, 河北 沧州 061199
针对线阵光纤激光相干合成系统中对合成光束的质量、控制速度、控制精度的需求, 完成了线阵光纤激光相干合成控制器的设计。该控制器以DSP2812和CPLD为核心处理器, 通过AD976A模/数转换器接收光电探测器的电压信号, AD8544数/模转换器输出模拟电压控制压电陶瓷相位控制器, 进而控制激光的相位变化。为了实现控制器与目标图像检测板和上位机的通信, 设计了两路串口通信接口, 并编写了相关测试程序, 最终在线阵光纤激光相干合成系统中完成了四路1 064 nm激光的相干合成、扫描、跟踪实验。实验结果表明, 该控制器搭载随机并行梯度下降(SPGD)算法, 在光电探测器的配合下能够实现光纤激光锁相, 控制主瓣能量变化优于±5%, 锁相后主瓣能够完成±λ的扫描, 扫描频率约为25 Hz, 同时结合目标图像检测板完成了目标跟踪实验, 实现激光相干合成条纹的目标跟踪。
激光 相干合成 控制器 随机并行梯度下降算法 目标跟踪 laser coherent synthesis controller SPGD algorithm target tracked
光子学报
2023, 52(12): 1210003
利用传统的暹罗网络跟踪算法进行目标跟踪时, 目标位置远离特征图中目标的中心位置会降低跟踪性能指标, 使得跟踪效果不佳。针对该问题, 提出了一种改进的暹罗自适应网络(SiamBAN)算法, 即引入中心预测网络来判断特征图上目标位置与目标中心点的距离, 两者间的距离越大, 中心度得分越低, 改进算法去除响应异常值的能力越强。通过OTB100, VOT2016和VOT2018数据集将改进的SiamBAN算法与主流跟踪算法进行对比分析, 结果表明, 改进的SiamBAN算法能有效抑制响应图中的异常值, 显著提高跟踪性能指标。
目标跟踪 孪生网络 改进SiamBAN 异常值抑制 中心度网络 target tracking Siamese network improved SiamBAN outlier rejection centrality network