1 华南理工大学 自动化科学与工程学院，广东广州50640
2 华南理工大学 软件学院，广东广州510006
3 中国科学院 力学研究所 国家微重力实验室，北京100190
从部分观测信息中推断出完整三维形状与语义场景信息对自动驾驶、机器人视觉、元宇宙生态体系构建等而言是至关重要的，因此，主要围绕三维形状补全、三维场景补全和三维语义场景补全任务而展开的三维补全技术被广泛研究。本文围绕上述三维补全任务，对近年来的相关研究工作进行了系统性的分析和总结。首先，针对三维形状补全任务，对基于传统方法的形状补全和基于深度学习的形状补全这两个方面的研究进展进行了综述。其次，针对三维场景补全任务，对基于模型拟合的场景补全和基于生成式的场景补全方法这两个方面的研究进展进行了综述。再次，针对三维语义场景补全任务，深入分析了场景补全和语义分割两大任务之间的耦合特性，并根据输入数据的不同类型，对基于深度图的语义场景补全方法、基于深度图联合彩色图像的语义场景补全方法、以及基于点云的语义场景补全方法这三个方面的研究进展进行了综述。最后，对三维补全任务目前面临的主要问题及未来发展趋势进行了分析和展望，旨在为三维视觉中这一新兴领域的相关研究者提供一些有益的参考。
形状补全 场景补全 语义场景补全 三维视觉 shape completion scene completion semantic scene completion 3D vision
1 武汉科技大学 冶金自动化与检测技术教育部工程研究中心，湖北 武汉 430081
2 武汉科技大学 信息科学与工程学院，湖北 武汉 430081
针对目前常用配准算法不能满足生产制造行业中高精度工艺要求的问题，本文基于三维点云提出一种改进三维形状上下文（3DSC）点云配准的有效解决方案。首先，通过改进的降采样方式设定阈值采集轮廓点云，对采集的点云依次进行三维网格划分形成形状上下文。然后，进行改进的3DSC初始配准，进而采用迭代最近点（ICP）精确配准，实现了源点云与目标点云之间的旋转平移变换。为验证改进算法的有效性，采用FPFH-ICP、PFH-ICP、传统3DSC和本文改进算法进行配准实验对比。实验结果表明，对于bunny点云和flowerpot点云，本文改进算法精度分别可达2.253 55e-05 m和9.969 02e-06 m，明显优于其他算法的配准精度。与传统3DSC配准算法相比，改进的3DSC配准算法可节省75%~85%的配准时间。改进的3DSC点云配准方法有利于提高配准精度且能优化配准时间，提高了配准效率。
点云配准 三维形状上下文 迭代最近点 三维视觉 point cloud registration 3D shape context iterative closest point 3D vision
1 湖南大学电气与信息工程学院，湖南 长沙 410082
2 浙江同济科技职业学院，浙江 杭州 311231
工件识别在柔性化机器人自动喷涂生产线中至关重要，它是机器人切换喷涂轨迹的重要依据。然而，实际应用中，由于喷涂工件尺寸和种类的多样性、表面的弱纹理性、多视异构件及相似件等情况的存在，准确且高效识别喷涂工件充满挑战性。为此，提出了一种二维（2D）实例分割与三维特征一致性配对的识别方法，即利用基于小样本训练的Mask R-CNN深度模型对2D工件分割及识别的快速性，再结合fast point feature histogram（FPFH）点云特征对局部细节的强区分性，实现对多视异构件及相似件由粗到精的准确识别。在精识别阶段，提出了一种基于FPFH特征配对的识别方法。该方法以intrinsic shape signature为工件的关键点，以FPFH为矢量特征，通过线性相关度配对FPFH特征，再以拓扑结构及空间变换关系的一致性为约束验证特征的匹配率，以此作为工件识别的评价标准。实验中，采用34种类别1500多个工件进行测试，所提方法的识别率高达99.26%，单工件识别耗时低于1500 ms。
机器视觉 三维视觉感知 工件识别 Mask R-CNN fast point feature histogram特征配对 激光与光电子学进展
2022, 59(14): 1415016
非接触式三维视觉测量广泛应用在工业制造质量检测中。针对工业金属零部件检测的应用场景，提出了一种基于线结构光旋转扫描和光条纹修复的三维视觉测量方案。首先，通过基于线结构光投影的计算机视觉技术，设计了线结构光旋转扫描视觉子系统，并对工业相机、线结构光平面和旋转扫描中心轴进行标定；然后，针对采集到的光条纹图像存在低灰度区域缺失数据的问题，提出了基于缺失区域自适应灰度增强的光条纹中心线提取算法，有效修复了被测零部件的线结构光投影条纹；同时，利用文中提出的线结构光三维视觉测量方案，通过重建标准球棒的表面点云计算两球直径和球间距来评价测量系统的精度，测量系统精度优于0.06 mm；最后，进行金属轮毂外轮廓形貌测量，通过重复性实验计算轮毂外轮廓最大半径，验证重复性误差优于0.03%。实验结果表明：该方法可以无损伤、高效率、高精度地实现工业金属零部件三维测量，弥补了接触式三维测量方法的缺陷。
三维视觉测量 线结构光 标定 3-D vision measurement line structured light calibration 红外与激光工程
2022, 51(2): 20210894
上海工程技术大学机械与汽车工程学院, 上海 201620
近年来,随着工业4.0的提出和机器视觉的飞速发展,机器人搭配视觉系统实现智能化变为现实。视觉系统主要分为二维(2D)视觉和三维(3D)视觉,3D视觉有着高精度、自由度丰富、应用场景更多等优点,越来越受到市场的青睐。3D视觉与传统的2D视觉相比,可以获得更加全面的三维数据信息,且不受光照影响,但是X、Y方向的分辨率较低,因此基于棋盘格的传统手眼标定算法并不适用于3D相机与机器人进行手眼标定。因此,设计了一种基于3D标定块的机器人与3D相机的手眼标定方法。通过相机获得标定块的灰度信息,利用模板匹配算法分割标定块的各个平面,计算出平面中多个点在像素坐标系下的位置,同时获取该像素坐标的深度信息,拟合出标定块多个平面的法向量信息,通过多个平面相交求解出特征点位置。利用随机抽样一致性算法剔除错误特征点后,根据正确的特征点求解出机器人在不同姿态下获取标定块点云数据之间的转换关系,结合机器人当前坐标求解出手眼标定结果,并建立误差评价模型对结果进行误差分析。最后通过DENSON六自由度机械臂与康耐视EA-5000相机对此方法与利用标定板进行手眼标定的方法进行比较验证,结果显示此方法可以更快速、准确地完成标定。
视觉光学 计算机视觉 三维视觉 手眼标定 点云匹配 模板匹配 激光与光电子学进展
2021, 58(24): 2433001
红外与激光工程
2021, 50(11): 20210125
1 华北水利水电大学 物理与电子学院，河南郑州4500
2 中国移动通信集团公司，北京100033
针对水体浑浊所造成水下图像退化和多介质引起的光线路径改变等问题，提出了基于径向多线结构光的水下视觉测量方法。首先，建立了基于折射的水下视觉测量模型，在投影仪垂直于折射平面投射且光平面经过投射光轴的条件下，陆上光平面和水下光平面共面，陆上标定可代替水下标定；采用蒙特卡洛模拟方法，分析了像点误差对点云计算精度的影响。其次，设计了黑白交错的中心旋转径向多线编码光模式；采用黑白条纹边缘作为测量点，减弱了编码光解码对图像质量的依赖性；通过中心旋转的方式，提高了表面的测量分辨率。最后，在1 m×1.2 m×0.8 m的水体中加入泥沙模拟自然河流水体环境，实验分析了浑浊水体对条纹提取、编码光解码和三维视觉测量精度的影响。实验结果表明，该方法在1 500 mm的测量距离上，对清水条件下的瓷瓶进行了不规则表面的三维表面测量；对清水、含有40，60和90 g泥沙的浑水中规则物体进行三维表面测量，获得了平面残差分别为0.95，1.93，5.43和21.43 mm的测量结果；当泥沙量超过某数值（如60 g）时，条纹提取精度急剧恶化，泥沙量为40和90 g的浑水中测量平面拟合残差从1.93 mm增加到21.43 mm。
三维视觉测量 河流水下测量 结构光 径向多线投影模式 3D vision measurement underwater vision measurement of river structured light system radial multi-stripe model 光学 精密工程
2021, 29(10): 2465
1 上海大学 机电工程与自动化学院, 上海 200072
2 山东理工大学 机械工程学院, 山东 淄博 255049
针对含有遮挡区域、深孔及凹槽等特征的多面体或回转体物体, 设计了一套基于立体定向靶标的探针式多视场三维视觉测量系统。首先, 基于近景摄影测量技术建立立体定向靶标的6个单元模型, 计算靶标各侧面角点在各自单元模型内的坐标, 单元模型的链接和光束平差, 获取全部角点的精确全局坐标, 作为立体定向靶标的全局控制点。然后, 设计了利用共面角点辅助定位的探针, 仍基于近景摄影测量技术解算出角点和测头在探针坐标系中的精确坐标。最后, 利用共面的棋盘格角点与其像平面之间的单应性矩阵, 推导全局坐标系、探针坐标系各自与相机坐标系的位姿关系, 进而求得探针测头的全局坐标。以量块(量棒)的标准长度作为评价指标, 在2 m×1.5 m的视场范围内测量精度优于0.1 mm。测量实验表明, 多视场三维视觉测量系统用于测量具有回转体结构特征的水壶, 能够获取水壶表面全部区域的点云数据。
三维视觉测量 立体定向靶标 探针 多视场 近景摄影测量 单应性矩阵 3D vision measurement three-dimensional orientation target probe multi-view field close range photogrammetry homography matrix
哈尔滨理工大学 测控技术与仪器黑龙江省高校重点实验室, 黑龙江 哈尔滨150080
陶瓷、金属等光滑表面的强反射性质, 会使图像饱和产生高光现象, 导致测量精度大幅下降。针对这一问题, 本文利用扩散板对光的扩散作用, 设计了基于线性扩散板的高光抑制系统。首先从理论上研究线性扩散板的扩散原理, 并利用高光点反射辐射亮度分析线性扩散板对高光的抑制作用。然后搭建系统平台, 完成相机标定、投影仪标定等系统搭建工作。最后对陶瓷盘子和大理石罐等具有强反射表面的物体进行三维测量, 实验结果表明, 线性扩散板能够实现三维测量中强反射表面的高光抑制, 其中大理石罐、陶瓷盘子、花盆、杯子的高光点数目相比未加扩散板时分别减少了19.6倍、5.6倍、4.4倍与3.9倍。扩散板能够减弱高光点的反射辐射亮度, 对高光具有一定的抑制作用, 三维重构结果中高光区域明显缩小。
三维视觉检测 高光抑制 结构光 线性扩散板 3D vision inspection highlight suppression structured light linear diffuser
湖南科技大学机械设备健康维护湖南省重点实验室, 湖南 湘潭 411201
三维视觉定位是基于位置的机器人视觉伺服的重要步骤, 直接影响到系统的控制精度。本文针对眼固定式双目视觉机器人, 提出了一种基于基坐标系的直接视觉定位方法, 通过点-极线对建立齐次线性方程组以求解包含了双摄像机相对位置等信息的基本矩阵, 再根据基本矩阵的性质将其分解为双摄像机相对于机器人基坐标系的投影矩阵, 进而通过由空间平面确定的直线方程直接进行基于基坐标系的重建。该方法简单直接易于实现, 相关实验通过将重建得到的坐标与实际坐标相比较, 验证了该定位方法的精确性和有效性。
三维视觉定位 眼固定 双目视觉 基本矩阵计算 3D visual positioning eye-to-hand stereovision fundamental matrix calculation
