1 西安理工大学图书馆, 陕西 西安 710048
2 西安理工大学 自动化与信息工程学院, 陕西 西安 710048
3 西安市无线光通信与网络研究重点实验室, 陕西 西安 710048
4 陕西省智能协同网络军民共建重点实验室, 陕西 西安 710126
ToF （Time of Flight）深度相机是获取三维点云数据的重要手段之一，但ToF深度相机受到自身硬件和外部环境的限制，其测量数据存在一定的误差。本文针对ToF深度相机的非系统误差进行研究，通过实验验证了被测目标的颜色、距离和相对运动等因素均会对深度相机获取的数据产生影响，且影响均不相同。本文提出了一种新的测量误差模型对颜色和距离产生的误差进行校正，对于相对运动产生的误差，建立了三维运动模糊函数进行恢复，通过对所建立的校正模型进行数值分析，距离和颜色的残余误差小于4 mm，相对运动所带来的误差小于0.7 mm。本文所做工作改善了ToF深度相机的测量数据的质量，为开展三维点云重建等工作提供了更精准的数据支持。
ToF深度相机 深度误差 误差校正 ToF depth camera depth error error correction
1 河南工业职业技术学院 电子信息工程学院, 河南 南阳, 473009
2 西安邮电大学 网络空间安全学院, 陕西 西安, 250104
针对当前手势识别算法易受光线变化、复杂场景等干扰, 从而导致手势识别准确性下降的问题, 定义了一种体感控制与深度相机的手势识别算法。所提出的手势识别方法结合了体感控制(Leap Motion)传感器和Kinect深度传感器, 可以有效提高手势识别精度与鲁棒性。通过体感控制传感器提取指尖与手的质心距离、指尖与手掌平面的高度、指尖与手掌中心的角度, 以及指尖在手参照系统中的3D位置; 通过Kinect深度传感器来提取手指样本与手部中心的距离、手部轮廓的局部曲率、手部形状的连通区域以及距离特征之间的相似性; 为了结合两种不同传感器数据的互补信息, 摒弃冗余, 通过采集的指尖3D位置, 找到旋转平移参数, 以最小化所有采集帧中指尖点的平均投影误差来定义一种联合校准方法, 确定体感控制传感器和Kinect深度传感器的外部参数, 完成两种传感器坐标转换; 采用支持向量机(SVM)进行分类学习, 完成手势识别任务。实验表明: 相对于已有的手势识别算法, 所提算法不仅在Jochen.Triesch手势数据库中具有更高的平均识别率, 约为97%, 而且在不同光线、不同肤色和背景的复杂环境下, 其同样具有更高的准确率与稳健性。
手势识别 体感控制 深度相机 联合校准 质心距离 平均投影误差 传感器坐标转换 gesture recognition somatosensory control depth camera joint calibration centroid distance average projection error sensor coordinate conversion SVM SVM
南京理工大学电子工程与光电技术学院，江苏 南京 210094
针对机器视觉中目标物体相对姿态的准确测量问题，提出了一种应用深度相机获取目标物体三维点云数据从而实现其相对姿态感知的方法。该方法根据目标物体空间结构先验知识选择同名点，应用单个的双目视觉测量系统获取目标物体三维点云数据，分析和处理该数据实现同名点识别，进而计算目标物体的三个同名点分别在物体坐标系与相机坐标系上的坐标值，利用奇异值分解（SVD）解相对姿态。该方法能够有效地解决三维物体姿态感知问题，提高了姿态感知的效率。实验数据表明，所提方法测量出的六自由度相对误差在±0.5°和±1 mm以内，满足了机器视觉姿态感知在工业生产中的应用要求。
机器视觉 相对姿态 深度相机 同名点 双目视觉 六自由度 激光与光电子学进展
2022, 59(14): 1415028
合肥工业大学 机械工程学院,安徽 合肥 230009
针对基于视觉传感器的移动机器人在快速运动或发生旋转时出现图像模糊和特征丢失, 以至无法进行特征匹配, 从而导致系统定位和建图的准确度及精确度下降问题,该文提出了一种以深度相机(RGB_D)融合惯性测量单元(IMU)的方案。采用ORB SLAM2算法进行位姿估计, 同时将IMU信息作为约束弥补相机数据的缺失。两种传感器的测量数据采用基于扩展卡尔曼滤波的松耦合方式进行非线性优化, 通过数据采集实验表明, 该方法能有效提高机器人的定位精度和系统建图效果。
同步定位与建图 深度相机(RGB_D) 惯性测量单元 ORB特征 扩展卡尔曼滤波(EKF) simultaneous localization and mapping RGB_D inertial measurement unit ORB feature extended Kalman filter(EKF)
上海大学 特种光纤与光接入网重点实验室, 上海 200444
针对大场景三维重建中, 由位姿估计的累积误差而导致的相机漂移和重建模型质量低的问题, 提出了减少累积误差的方法。首先, 基于由最新K对深度和彩色图像融合的模型, 最小化输入RGB-D图像的几何误差和亮度误差来跟踪相机。然后, 若相机位置与当前子网格的中心点距离大于给定阈值时, 则将子网格平移体素单元整数倍的距离, 基于新建的子网格继续跟踪相机并重建局部场景模型。最后, 在子网格间以迭代步长式的方法寻找对应表面点, 以对应点间的欧氏距离与亮度误差为约束, 优化全局相机轨迹。基于数据集的实验结果表明,相机位姿估计精度比主流方法提升14.1%, 全局轨迹优化精度提升8%。对于自采数据, 本文设计的系统可减少位姿估计中的累积误差、重建高质量的场景模型。
计算机视觉 深度相机 累积误差 三维重建 computer vision depth camera accumulated error three-dimensional reconstruction
1 西安科技大学 计算机科学与技术学院, 陕西 西安 710054
2 西安科技大学 机械工程学院, 陕西 西安 710054
TOF(Time-Of-Flight)相机获取的深度值存在着边角畸变和精度偏移, 目前主要是通过误差查找表或曲线拟合等技术进行误差补偿, 计算量大且补偿速度慢。通过对TOF相机在不同距离的深度误差分布规律的分析, 提出了一种实时、高精度的误差补偿方法。该方法利用TOF深度图像的旋转对称性以及误差分布的特性, 简化了误差补偿模型、降低参数数量级, 有效提升了补偿的精度和速度。将算法应用于基于TOF原理的Kinect v2深度传感器进行深度补偿, 使得有效距离内平面度误差下降到0.63 mm内, 平均误差下降到0.704 0 mm内, 单帧数据补偿时间在90 ms内。由于该算法仅基于光径差进行补偿, 因此适用于所有TOF原理的相机。实验结果表明, 该算法能够快速有效减少TOF相机的深度误差, 适用于实时、高精度的大视场三维重建。
TOF深度相机 深度误差补偿 曲线拟合 Kinect v2传感器 TOF depth camera depth error compensation curve fitting Kinect v2 sensor 红外与激光工程
2019, 48(12): 1213004
贵州电网有限责任公司电力调度控制中心, 贵州 贵阳 550002
针对巡检机器人深度视觉系统需要频繁人工标定问题, 提出了一种用于机器人避障与防跌落的深度相机姿态自标定方法。该方法结合相机坐标系与世界坐标系相对关系, 利用平整地面拟合出参数化平面, 在此基础上建立世界坐标系, 进而求解出表示世界坐标系与相机坐标系关系的参数。该方法能够解决传统算法对深度相机标定需要人工标定, 且需要在场景中放置标志信息等操作复杂的问题, 提高了标定效率。实验数据表明提出的方法能准确标定出深度相机姿态参数, 满足了障碍检测与机器人防跌落需求。
机器人 避障 深度相机 自标定 姿态 robot obstacle avoidance depth camera self-calibration pose
浙江大学 现代光学仪器国家重点实验室,国家光学仪器工程技术研究中心, 杭州 310027
对于双目视觉立体匹配算法,先验的视差范围估计是影响算法匹配效果和运行时间的重要因素.在双目视觉系统的实际应用中,匹配视图之间的视差范围通常随场景的变化而不断改变,因此需要对视图间的视差范围进行有效的自动估计.针对此问题,开发了一种双模相机,可分时采集场景的灰度图像和深度图像,该深度图像与灰度图像有相同的空间分辨力.在双目视图匹配过程中,通过引入深度图的信息,可约束每一个待匹配像素的视差范围.对于实验室内采集的普通视图对,本文方法相较以视图间视差最大、最小值为约束的方法,匹配速度提高3倍以上,匹配误差减少2%,有效提高了匹配的可靠性和普适性.
成像系统 视差范围估计 深度相机 立体匹配 imaging systems disparity estimation depth camera stereo matching
1 天津大学 电子信息工程学院, 天津 300072
2 天津大学 计算机科学与技术学院, 天津 300072
提出基于超像素分割, 并联合自回归模型的深度复原方法。首先对已获取的场景彩色图进行过分割, 得到彩色图中每个像素的标号, 然后构建基于已分割彩色图像指导的自回归模型: 根据像素标号对自回归模型系数进行预测, 通过优化预测系数差错来实现深度图恢复。实验表明, 该算法不仅能有效恢复出深度图, 而且在结构边缘细节处更加突出, 优于目前主流的方法。
深度图恢复 超像素 自回归模型 系数预测 深度相机 Depth image recovery super-pixels AR model coefficients prediction depth camera. 引言
