1 西北工业大学 无人系统技术研究院，陕西西安70072
2 中国人民解放军军事科学院 国防科技创新研究院，北京100850
针对室内弱纹理环境下基于点特征的视觉同步定位与建图（Simultaneous Localization and Mapping， SLAM）存在的轨迹漂移等问题，提出了一种融合点线特征的双目视觉SLAM系统，并对线特征的提取与匹配问题展开研究。为了提高线特征的质量，通过长度与梯度抑制、短线合并等方法，进一步改进LSD（Line Segment Detector）线特征提取方法。同时，通过将匹配问题转换为优化问题，并利用几何约束构建代价函数，提出了一种基于几何约束的快速线段三角化方法。实验结果表明，本文所提方法在多个数据集上的表现都优于基于描述子的传统方法，尤其在室内弱纹理场景下，其平均匹配精度达到91.67%，平均匹配时间仅需7.4 ms。基于此方法，双目视觉SLAM系统在弱纹理数据集上与已有算法ORBSLAM2，PL-SLAM的定位误差分别为1.24，7.49，3.67 m，定位精度优于现有算法。
双目视觉 线特征提取 视觉同步定位与建图 特征匹配 binocular vision line features vision simultaneous localization and mapping feature matching
浙江大学光电科学与工程学院极端光学技术与仪器全国重点实验室，浙江 杭州 310027
本文建立了一种基于双目3D显示观察的主观实验流程，利用主观实验数据来分析汽车车载增强现实抬头显示（AR-HUD）设备中的动态畸变对驾驶员主观感受的影响，同时评估观看来自不同眼盒位置的图像时双目融合过程中驾驶员可以接受的畸变大小临界值。实验研究结果显示，随着两眼之间的动态畸变差异的增大，驾驶员融合图像变得越来越困难，观看的不适程度也出现较快增长。同时本文也揭示了驾驶员在使用AR-HUD设备的过程中，同一眼盒两个不同位置处驾驶员可以接受的动态畸变临界条件为垂直畸变小于2%，水平畸变小于1%。此研究证实了动态畸变对驾驶员的主观感受具有较为显著的影响，并且为汽车抬头显示系统中光学设计的优化畸变过程提供了相关的数值约束参考。
动态畸变评估 双目融合 双目相机模型 主观实验方法 单因素方差分析
1 南昌理工学院电子与信息学院，江西 南昌 330013
2 海南科技职业大学机电工程学院，海南 海口571126
为进一步提高室外场景无人机深度测量值的精度，提出了基于激光传感器的双目无人机室外场景视觉深度估计方法。利用回波信号方程分解无人机的回波脉冲信号，解决激光传感器接收回波信号时出现的叠加回波问题。依据激光传感器中的激光成像原理，对无人机的回波信号进行小目标检测成像，解决了因邻近目标波形覆盖难以提取小目标的问题。利用反向卷积神经网络重构图像网络，重新设定Skip的作用域用来无缝拼接提取到的图像特征，以此实现双目无人机室外场景的视觉深度估计。试验结果表明，运用该方法估计室外场景深度时，检测到深度测量值与标准测量曲线相近，视差像素比例可以维持在50%以上，且深度估计的评价均优于对比方法。
激光传感器 双目无人机 室外场景 视觉深度估计 激光成像 laser sensor binocular drone outdoor scene visual depth estimation laser imaging
1 桂林电子科技大学,a.广西精密导航技术与应用重点实验室
2 b.信息与通信学院, 广西 桂林 541000
3 卫星导航定位与位置服务国家地方联合工程研究中心, 广西 桂林 541000
为优化无人机SLAM系统运行过程中发生的跟踪失败导致局部建图失败以及双目摄像头在远近复杂场景下轨迹误差大的现象, 提出了一种双目SLAM。首先在系统中加入新的约束优化双目匹配的视差与深度, 然后应用光流法基于单应运动补偿原理和PROSAC算法去除误匹配, 最后根据单应补偿结果投影得到新的数据关联, 在关键帧和地图点应用新的手段提高对补偿结果的利用率, 保证了系统的实时性和鲁棒性。所提算法利用双目视差优化计算关键点的深度从而提高系统的定位精度和系统鲁棒性, 在室内无人机EuRoC数据集上取得了较为优秀的精度提升。
双目 无人机 单应补偿 ORB-SLAM3 ORB-SLAM3 PROSAC PROSAC binocular UAV homography compensation
1 河北工程大学 数理科学与工程学院, 河北 邯郸 056038
2 河北省计算光学成像与光电检测技术创新中心, 河北 邯郸 056038
3 河北省计算光学成像与智能感测国际联合研究中心, 河北 邯郸 056038
4 河北省煤矿智能化工程研究中心, 河北 邯郸 056038
在路面裂缝的检测中, 传统人工检测的方法准确性低, 效率低, 且单目视觉技术无法准确获得深度信息, 只能得到二维平面信息。基于此, 文章引入了双目线结构光技术, 提出了一种基于地面平均高度的三维裂缝提取算法, 实现了裂缝的三维信息采集。算法提取图像中每列像素值中最低点为起点, 向左右扩散形成一个边缘提取范围, 计算该列边缘提取范围以外的像素平均值作为地面平均高度值, 然后以最低点为中心开始遍历每个像素值, 当左右两边像素超过地面平均高度值时, 则确定两个像素点为裂缝边缘。整合所有列, 实现整条裂缝边缘的提取。实验结果表明: 文章提出的裂缝识别算法能够较为准确的对裂缝边缘进行提取, 通过与Canny边缘提取算法对比, 数据表明, 文章算法在连续性上表现更好, 本文算法的图像水平相关性数据总体都高于Canny边缘提取算法, 平均提高了30%。
双目视觉 图像处理 裂缝尺寸测量与计算 线结构光 binocular vision Image processing Crack size measurement and calculation Linear structured light
针对固态成像型头戴夜视系统大视场、轻量化需求,对双目头戴夜视系统进行了物镜和目镜光学系统及机械装配结构设计,选用高强型碳纤维环氧树脂作为夜视系统壳体材料,利用Solid Works仿真软件优化设计了一款夜视系统壳体结构,并对壳体在极寒和高热条件下的热稳定性进行了有限元分析。仿真实验结果表明,在-40和50 ℃两种极端温度情况下夜视系统壳体的热应力均小于材料的屈服强度,最大应变对光学系统成像质量、显示性能和机械结构造成的影响极为有限,从而验证了壳体结构良好的耐温性和可靠性。
双目头戴夜视系统 结构设计 热稳定性 有限元法 光学系统 binocular head-mounted night vision system structural design thermal stability finite element method optical system
中国工程物理研究院机械制造工艺研究所，四川 绵阳 621000
孔轴装配是工业制造领域的一个重要基础问题，针对空间狭窄视觉困难、容易碰撞损坏、人工装配效率低等问题，提出一种基于双目视觉的监测方案，将图像叠加融合，扩大监测视野，并通过轴与孔的截交线来测量装配参数。此外，根据重投影误差，对不同位置的双目数据的融合权重进行优化，使误差降低10%左右，在实现快速检测的同时保证了测量精度。实验结果表明，所提算法可以对间隙为0.25 mm的小直径和小间隙孔轴的装配过程进行实时监测，平均误差约为0.015 mm。同时，所提算法对摄像机的倾斜角度不敏感，在不同的摄像机安装位置具有良好的鲁棒性。
机器视觉 孔轴装配 双目视觉 数据融合 激光与光电子学进展
2023, 60(16): 1615003
1 河北工程大学数理科学与工程学院，河北 邯郸 056038
2 河北省计算光学成像与光电检测技术创新中心（筹），河北 邯郸 056038
3 河北省计算光学成像与智能感测国际联合研究中心，河北 邯郸 056038
4 河北省煤矿智能化工程研究中心，河北 邯郸 056038
针对现有线结构光对复杂物体进行三维重建时存在信息缺失的问题，分析遮挡导致信息残缺的机理，定量分析线结构光系统参数和遮挡残缺之间的关系，提出一种长短基线结构光交叉补缺重建方法。基于双目线结构光硬件设备，构建了双目长基线和左右单目短基线3套不同基线的线结构光系统，对物体进行图像采集和三维重建。重建结果融合了双目、左目、右目图像的重建结果，实现了信息补缺，较好地改善了线结构光对具有复杂表面的物体进行三维重建时存在信息缺失的问题。实验结果显示，相比于传统双目线结构光，所提双目线结构光融合重建技术的重建缺失阈值从4.28 mm降低为2.14 mm，信息重建完整率从88%提升到92%，分别采集了充电器、盒子、开发板的三维数据，最高能够实现94%的信息重建。所提双目线结构光融合重建技术在不改变双目线结构光硬件设备的基础上，增加了信息采集完整度，拓宽了应用范围。
线结构光 双目 三维重建 表面突变 激光与光电子学进展
2023, 60(16): 1611001
西安应用光学研究所 智能感知实验室，陕西 西安 710065
DETR（detection transformer）算法是一个基于Transformer的目标检测算法，具有检测速度快、检测效果好的优势。介绍了一种利用DETR算法及双目视觉原理对道路环境下的人、车、自行车、信号灯等目标进行构建的测量系统。分析了双目测距、相机标定、目标检测以及目标匹配的原理，并以此为基础构建了测量系统。采用目标检测算法检测视野中的目标，利用双目视觉原理对检测到的目标进行测距，同时分析了测量系统中测量误差的来源，并计算其对结果的影响。该算法在KITTI数据集及现实环境中进行测试，测量系统基线为45 cm，对15 m～80 m的指定目标检出率高于90.6%，测距误差小于5.8%，在RTX 2080Ti平台上能够实时运行。
双目视觉 目标检测 测量系统 测量误差 binocular vision target detection measurement system measurement error
