1 四川大学空天科学与工程学院，四川 成都 610065
2 中国工程物理研究院机械制造工艺研究所，四川 绵阳 621999
利用深度学习实现视觉图像的实时检测和姿态解算是引导机器人智能抓取的重要手段。针对机器人抓取检测中对准确性、实时性和稳定性的需求问题，构建了一种基于稳定轻量级网络的新型机器人抓取检测方法。将实例归一化层用于网络的卷积层和残差块中，每次只考虑单张图片的一个通道，不仅减少了运算量，还能有效利用单张图片的每个像素信息，在提升每个图像实例之间检测稳定性的同时加快模型收敛的速度；将特征金字塔网络分层结构融入上采样，并结合多维度语义信息增加对多尺度物体检测的准确度和稳定性。所构建的轻量级模型在交并比（IOU）为0.25时准确度为94.4%，画面传输速度为40.8 frame/s，并且在IOU低于0.5时准确度仍保持在80%以上。实验证明了在轻量级网络中加入实例归一化和特征金字塔的有效性。
机器视觉 机器人抓取 轻量级网络 物体检测 姿态检测 中国激光
2023, 50(13): 1304003
为提升动态场景中视觉SLAM（Simultaneous Localization and Mapping）系统的定位精度和鲁棒性，提出一种基于光流和实例分割的视觉SLAM方法。针对动态物体和静态背景光流方向的不一致性，提出一种高实时性动态区域掩模检测算法，从而在ORB-SLAM2原有跟踪线程中实时地剔除处于动态区域掩模中的特征点。利用已有深度图和跟踪线程位姿估计的信息去除相机运动相关光流，然后聚类动态物体自身运动产生的光流幅值，从而实现高精度的动态区域掩模检测，并结合对极几何约束剔除局部建图线程中的动态路标点。在TUM和KITTI数据集上的测试结果表明，在高动态场景下，本文算法相较ORB-SLAM2、Detect-SLAM、DS-SLAM，定位精度平均提升97%、64%和44%。相较DynaSLAM，本文算法在一半的高动态场景中定位精度平均提升20%，这验证了本文算法在高动态场景中提升了系统定位精度和鲁棒性。
机器视觉 视觉里程计 动态场景 光流 运动物体检测 实例分割 光学学报
2022, 42(14): 1415002
唐聪 1,2,3凌永顺 1,2,3杨华 1,2,3杨星 1,2,3路远 1,2,3
1 国防科技大学电子对抗学院, 安徽 合肥 230037
2 脉冲功率激光技术国家重点实验室, 安徽 合肥 230037
3 红外与低温等离子体安徽省重点实验室, 安徽 合肥 230037
提出了一种基于深度学习的红外与可见光决策级融合检测方法。首先, 提出了一种介于深度学习模型之间的参数传递模型, 进而从基于深度学习的可见光物体检测模型上抽取了用于红外物体检测的预训练模型, 并在课题组实地采集的红外数据集上进行fine-tuning, 从而得到基于深度学习的红外物体检测模型。在此基础上, 提出了一种基于深度学习的红外与可见光决策级融合检测模型, 并对模型设计、图像配准、决策级融合过程进行了详细地阐述。最后, 进行了白天和傍晚条件下基于深度学习的单波段检测实验和双波段融合检测实验。定性分析上, 由于波段之间的信息互补性, 相比于单波段物体检测, 双波段融合物体检测在检测结果上具有更高的置信度和更精确的物体框; 定量分析上, 白天时, 双波段融合检测的mAP为86.0%, 相比于红外检测和可见光检测分别提高了9.9%和5.3%; 傍晚时, 双波段融合检测的mAP为89.4%, 相比于红外检测和可见光检测分别提高了3.1%和14.4%。实验结果表明: 基于深度学习的双波段融合检测方法相比于单波段检测方法具有更好的检测性能和更强的鲁棒性, 同时也验证了所提出方法的有效性。
物体检测 决策级融合 双波段 深度学习 object detection decision-level fusion dual band deep learning 红外与激光工程
2019, 48(6): 0626001
上海理工大学光电信息与计算机工程学院，上海 200093
为了能在复杂环境下快速、准确地对多个目标进行检测及追踪，本文结合四帧间差分算法与光流算法，提出了一种更高效的运动目标检测算法。本算法为了提升光流法的处理速度并降低光照等环境所带来的影响，首先对视频序列进行四帧间差分处理，然后将得到的差分视频序列进行光流处理，以实现对视频中目标的准确检测。最后将该算法与粒子滤波、ViBe 等算法进行比较，并在不同场景下对不同运动目标、不同个数目标进行捕获处理，结果表明，本方法不仅具有较好的鲁棒性，而且能够更快速、准确的对目标进行检测与追踪。
物体检测及追踪 四帧间差分法 光流法 粒子滤波 ViBe 算法 object detection and tracking four inter-frame difference method optical flow method particle filter ViBe
火箭军工程大学控制科学与工程系, 陕西 西安 710025
为了提升动态场景中视觉里程计的稳健性和精确度,提出一种基于运动物体检测的立体视觉里程计算法。首先,建立考虑相机位姿的场景流计算模型,用于表示物体的运动矢量。其次,提出构造虚拟地图点的方法,一方面结合场景流进行运动物体检测,另一方面使运动物体在图像中占比较大时仍有足够匹配点对用于位姿估计。最后,通过局部地图点及虚拟地图点与当前帧特征点的匹配结果,构建考虑虚拟点的非线性优化模型进行相机位姿估计,既保证静态地图点不与运动物体的特征点形成错误匹配,又避免因有效匹配点对过少而导致视觉里程计失效。数据集实验和实际场景在线实验结果表明,本文算法提升了视觉里程计在动态场景中的稳健性和精确度。
机器视觉 立体视觉里程计 动态场景 运动物体检测 场景流 虚拟地图点 光学学报
2017, 37(11): 1115001
1 燕山大学 信息科学与工程学院, 河北 秦皇岛 066004
2 燕山大学 理学院, 河北 秦皇岛 066004
物体的变形、边缘中断等因素通常对物体检测的结果影响很大。为了减小这些因素的影响, 提出一种新的基于边缘能量图的物体检测方法。边缘能量图在一定程度上反映了物体的边缘出现的概率, 便于计算并具有较好的鲁棒性。计算出图像的边缘图像, 在此基础上分别计算出模型和测试图像的边缘能量图。基于多分辨率的滑动窗口, 在图像中找出测试图像边缘能量图与模型边缘能量图最相似的区域。基于边缘能量图快速得到目标物体的轮廓。实验结果显示, 该方法使用较快的计算速度得到了相对较高的检测率。
信息光学 物体检测 边缘 能量图 多分辨率 information optics object detection edge energy image multiple resolutions
1 燕山大学信息科学与工程学院, 河北 秦皇岛 066004
2 燕山大学理学院, 河北 秦皇岛 066004
对于形状和表面纹理都有变化的物体的检测, 局部不变性算子并不适用, 而现有的局部描述符对于区分这种形状的作用也并不明显。为此本文提出了一种新的基于方向描述符的物体检测算法。根据模型轮廓图或边缘图像计算出初始描述符, 在此基础上为图像中的每一点生成方向描述符。方向描述符既可以描述边界的走向, 又可以容忍边界的较小变形。使用多分辨率加速的滑动窗口算法, 将每个有效的候选区域与模型的描述符矩阵进行匹配, 以判断此位置是否包含目标物体。实验结果显示, 本文算法取得了相对较高的检测率。
物体检测 方向 局部描述符 边缘 object detection orientation local descriptor edge
1 武汉理工大学,自动化学院,模式识别与智能系统教研室,湖北,武汉,430070
2 华中科技大学,图像识别与人工智能研究所,图像信息处理与智能控制教育部重点实验室,湖北,武汉,430074
3 法国波尔多第三大学,计算机图像处理研究室,吉伦特,波尔多
动态图像分析是一个令人感兴趣的研究课题,广泛地应用于交通监测、场景监控和预警等方面.由于红外图像的噪声相对较大,对比度不高,因此红外序列图像的动态分析有着自己的特点.提出了一种基于知识表示与有监督学习的动态红外图像分析方法,能有效地利用序列图像全局建模进行红外序列图像中的运动物体检测、特性判别行为分析.
动态图像分析 运动物体检测 有监督学习 知识表达 场景建模 Dynamic image analysis Moving object detection Supervised learning Knowledge representation Scene modeling
