针对视觉同步定位与建图(SLAM)算法前端漂移误差累积问题, 提出基于光学成像模拟的视觉里程计方法。该方法利用稠密三维点云数据进行目标表面泊松重建及材质物理特性关联, 依据光学物理特性和光线追踪原理构建基于物理模型的成像渲染引擎(PBRT), 生成不同观测条件下的目标特性仿真图像; 将目标特性仿真图像与光学相机拍摄图像进行配准与运动偏差恢复, 并设计扩展卡尔曼滤波器(EKF)输出位姿状态最优估计值。通过原型系统研制与实验评估表明: 该方法有效克服了传统方法漂移误差累积的问题, 相较传统ORB-SLAM2算法前端定位精度提升了56%, 为视觉里程计的设计提供了一种新的技术思路。

为提升动态场景中视觉SLAM（Simultaneous Localization and Mapping）系统的定位精度和鲁棒性，提出一种基于光流和实例分割的视觉SLAM方法。针对动态物体和静态背景光流方向的不一致性，提出一种高实时性动态区域掩模检测算法，从而在ORB-SLAM2原有跟踪线程中实时地剔除处于动态区域掩模中的特征点。利用已有深度图和跟踪线程位姿估计的信息去除相机运动相关光流，然后聚类动态物体自身运动产生的光流幅值，从而实现高精度的动态区域掩模检测，并结合对极几何约束剔除局部建图线程中的动态路标点。在TUM和KITTI数据集上的测试结果表明，在高动态场景下，本文算法相较ORB-SLAM2、Detect-SLAM、DS-SLAM，定位精度平均提升97%、64%和44%。相较DynaSLAM，本文算法在一半的高动态场景中定位精度平均提升20%，这验证了本文算法在高动态场景中提升了系统定位精度和鲁棒性。

视觉里程计在智能机器人、自动驾驶等领域有着广泛的应用。但是基于有限视场(FOV)针孔相机的经典视觉里程计算法容易受到环境中运动物体和相机快速旋转的影响,在实际应用中鲁棒性和精度不足。针对这一问题,提出全景环带语义视觉里程计。通过将具有超大视场的全景环带成像系统应用到视觉里程计,并将基于深度学习的全景环带语义分割所提供的语义信息耦合到算法的各个模块,减小运动物体和快速旋转的影响,提高在应对这两种挑战性场景时算法性能。实验结果表明,相较于经典的视觉里程计,所提算法在实际环境下可以实现更加精确和鲁棒的位姿估计。

由于传统的视觉里程计(VO)存在实现过程繁琐、计算复杂等问题,提出了一种基于改进双流网络结构的VO。所提VO使用双流卷积神经网络结构,能够将RGB图像、深度图像同时馈入模型进行训练,并采用Inception网络结构对卷积层进行改进,减少参数数量。同时,在卷积层中加入注意力机制,提升网络对图像特征的辨识度和系统的鲁棒性。为了评估所提模型,在KITTI数据集上进行了模型的训练与测试,并与VISO2-M、VISO2-S和SfMLearner进行对比。结果表明,相较于同样使用单目相机的VISO2-M和SfMLearner,所提模型在旋转误差和平移误差方面取得了较大的改善,可与使用双目相机的VISO2-S相媲美。

针对视觉里程计中采用基本特征点匹配算法易出现误匹配现象,提出一种结合双向光流法的特征点环形匹配算法。该算法将双目图像与前后帧图像组成环形,前后帧图像采用双向金字塔光流法跟踪特征点,并剔除错误的特征点追踪结果。基本特征匹配算法通常采用快速最近邻匹配(FLANN)算法,但其结果包含很多误匹配的点对。本文提出的匹配算法不仅能剔除误匹配特征点,还能使特征点均匀分布于图像上。随后采用基于3D-2D点的P3P(Perspective-3-Point)算法结合RANSAC(Random Sample Consensus)得到初始位姿估计结果,再利用g2o(General Graph Optimization)库对位姿估计结果进一步优化。定位实验结果表明,结合双向光流法的特征点环形匹配算法具有更高的定位精度。

针对传统视觉同时定位与地图构建(vSLAM)相机跟踪模块在动态环境中无法精确定位的问题,提出一种基于语义的视觉里程计。首先,在利用金字塔Lucas-Kanade 光流追踪匹配帧间特征点的同时,对图像进行像素级的语义分割。然后,将语义信息与几何特征紧密结合用以准确地剔除图像中的外点,使得位姿估计和建图仅依靠图像中值得信赖的静态特征点。最后,提出了一种多尺度的随机抽样一致(RANSAC)方案,对匹配点进行步进采样,每步使用不同的尺度因子,在降低外点检测时间的同时,提高了外点检测的鲁棒性。在TUM数据集上的实验结果表明,在高动态序列中,相比于ORB-SLAM2,本文方案的绝对轨迹误差和相对位姿误差改善了90%以上,而相比于同类型的DS-SLAM,本文方案在降低外点检测时间30%~40%的情况下,提升了位姿估计的鲁棒性。

针对传统视觉里程计在低纹理场景下,定位精度差甚至失效的问题,提出一种结合点线特征的RGB-D视觉里程计方法。该方法结合了点线特征各自独有的特性,同时联合点特征的光度误差和线特征的局部梯度适应性误差,构建了一个对低纹理场景鲁棒的联合误差函数。利用高斯-牛顿迭代法对联合误差函数进行非线性迭代优化,以获取相机每一帧的准确位姿。在公开的真实RGB-D数据集和合成基准测试数据集上对本文方法进行评估。实验结果表明,与其他先进算法相比,本文算法具有更优越的准确性和鲁棒性。

近年来,视觉里程计广泛应用于机器人和自动驾驶等领域,传统方法求解视觉里程计需基于特征提取、特征匹配和相机校准等复杂过程,同时各个模块之间要耦合在一起才能达到较好的效果,且算法的复杂度较高。环境噪声的干扰以及传感器的精度会影响传统算法的特征提取精度,进而影响视觉里程计的估算精度。鉴于此,提出一种基于深度学习并融合注意力机制的视觉里程计算法,该算法可以舍弃传统算法复杂的操作过程。实验结果表明,所提算法可以实时地估计相机里程计,并具有较高的精度和稳定性以及较低的网络复杂度。