1 东南大学 自动化学院，江苏南京20096
2 东南大学 复杂工程系统测量与控制教育部重点实验室，江苏南京10096
3 南京航空航天大学 空间光电探测与感知工业和信息化部重点实验室， 江苏南京211106
为了在严重遮挡以及少纹理等具有挑战性的场景下，准确地估计物体在相机坐标系中的位置和姿态，同时进一步提高网络效率，简化网络结构，本文基于RGB-D数据提出了采用辅助学习的六自由度位姿估计方法。网络以目标物体图像块、对应深度图以及CAD模型作为输入，首先，利用双分支点云配准网络，分别得到模型空间和相机空间下的预测点云；接着，对于辅助学习网络，将目标物体图像块和由深度图得到的Depth-XYZ输入多模态特征提取及融合模块，再进行由粗到细的位姿估计，并将估计结果作为先验用于优化损失计算。最后，在性能评估阶段，舍弃辅助学习分支，仅将双分支点云配准网络的输出利用点对特征匹配进行六自由度位姿估计。实验结果表明：所提方法在YCB-Video数据集上的AUC和ADD-S<2 cm结果分别为95.9%和99.0%；在LineMOD数据集上的平均ADD（-S）结果为99.4%；在LM-O数据集上的平均ADD（-S）结果为71.3%。与现有的其他六自由度位姿估计方法相比，采用辅助学习的方法在模型性能上具有优势，在位姿估计准确率上有较大提升。
六自由度位姿估计 辅助学习 深度图像 三维点云 6-DoF pose estimation auxiliary learning RGB-D image 3D point cloud
1 华北电力大学计算机系，河北 保定 071003
2 河北省能源电力知识计算重点实验室，河北 保定 071003
针对现有三维点云语义分割算法对点间密度信息以及空间位置特征利用不充分的问题，提出一种基于密度感知和自注意力机制的三维点云语义分割算法。首先，基于自适应K近邻（KNN）算法和局部密度位置编码构建密度感知卷积模块，从而有效地提取点间关键密度信息，加强初始输入特征的信息表达深度，提升算法捕获局部特征的能力。然后，构建空间特征自注意力模块，基于自注意力和空间注意力机制强化全局上下文信息和空间位置信息的关联性，对全局特征和局部特征进行有效聚合，从而提取更深层次的上下文特征，有效提升算法的分割性能。最后，在公开的S3DIS数据集和ScanNet数据集上进行了大量实验。实验结果表明，算法的平均交并比分别达到了69.11%和72.52%，与其他算法相比有明显提升，验证了所提算法有着良好的分割性能和泛化性能。
三维点云 语义分割 密度信息 注意力机制 密度位置编码 激光与光电子学进展
2024, 61(8): 0811004
南京航空航天大学电子信息工程学院，江苏 南京 211106
随着传感器技术的不断发展，三维点云被广泛应用于自动驾驶、机器人、遥感、文物修复、增强现实、虚拟现实等领域的视觉任务中。然而，直接应用收集到的海量原始点云数据得到的效果不佳，因此，基于深度学习的点云处理方法受到了越来越多的关注和研究。本文综述了近6年来基于深度学习的三维点云处理方法的研究进展。首先给出了三维点云的基本概念和获取方式，简述了4种点云处理任务；然后针对点云去噪和滤波、点云压缩、点云超分辨率以及点云修复-补全-重建任务，重点阐述了相应的深度学习方法的原理，并分析了其优缺点；随后介绍了22种点云数据集和4类评价指标，同时给出了性能对比结果；最后探讨了点云处理方法目前存在的问题，并对未来的研究趋势进行了展望。
深度学习 三维点云处理 点云去噪 点云压缩 点云修复
1 华北电力大学控制与计算机工程学院，北京 102206
2 太仓中科信息技术研究院，江苏 太仓215400
3 中国科学院计算技术研究所，北京 100190
目前在零件模型上容易将低曲率圆柱面的局部区域识别为平面，并且只能做到一种图元的快速准确检测。基于此，提出一种能够同时对平面和圆柱面进行精确快速检测的面向点云数据的面图元快速检测方法。该方法分为粗识别和精化两阶段：首先，将点云划分为小粒度基片，计算基片特征，粗识别出平面基片或圆柱面基片；之后，根据过滤条件将圆柱面基片邻近的平面基片过滤，合并具有相同特征的基片得到完整平面和圆柱面。使用5个机械零件数据进行实验验证，并将其与目前流行的两种识别方法进行比较。结果表明，该方法不会出现其他两种方法存在的遗漏和错误识别现象，同时在多圆柱面相连时的准确分割以及曲面参数精度上，优于其他两种方法。
三维点云 图元检测 区域增长 机械零件 基片特征 激光与光电子学进展
2024, 61(4): 0415006
甘肃同兴智能科技发展有限责任公司，甘肃兰州 730046
在传感器无法满足相关条件的情况下，变电站机器人巡视轨迹的点云数据不能准确匹配，为此提出红外图像特征融合下变电站机器人巡视轨迹三维点云配准方法。提取机器人运动方向梯度直方图和局部自相似描述两种特征，即 HOG特征和 LSS特征，并采用多特征自适应融合方法融合两种特征，并通过三维点云初步配准获取融合后轨迹特征的关键点和最佳的目标轨迹位姿参数，采用优化的迭代最近点算法精配准巡视轨迹，提升巡视轨迹位姿配准结果。实验结果表明：所研究方法特征融合效果良好，能够提升图像的边缘清晰程度，融合后偏差指数均低于 0.2，准确完成不同大小图像中关键点的配准，并且配准后的巡视轨迹与期望轨迹吻合程度较高。
红外图像 特征融合 变电站机器人 巡视轨迹 三维点云配准 关键点 infrared image, feature fusion, substation robot,
红外与激光工程
2023, 52(11): 20230212
1 五邑大学轨道交通学院，广东 江门 529020
2 广东工业大学机电工程学院，广东 广州 510642
3 佛山市南海区广工大数控装备协同创新研究院，广东 佛山 528225
针对如何快速且准确地获取模具内部完整三维点云数据的问题，提出一种机械臂与三维视觉设备结合的三维点云拼接算法。在初拼接阶段，采用手眼标定方式获取手眼矩阵，并将各幅点云转换到机器人基坐标系，完成初步拼接，得到良好的配准初始位置。在此基础上，提出改进的迭代最近点（ICP）算法，通过结合内部形体描述子（ISS）特征获得关键点，并用随机一致性算法剔除错误匹配点，在点的匹配过程中采用点到面的方式进行匹配，最终得到完整的拼接点云。实验结果表明，所提算法在与ICP算法及其他改进的ICP算法的配准性能对比中具有良好的稳健性，算法耗时及配准误差明显下降，完整的拼接点云误差为0.12 mm，具有较高的工程实践价值。
机器视觉 点云拼接 三维点云 迭代最近点算法 机械臂 激光与光电子学进展
2023, 60(20): 2015001
1 西南交通大学先进驱动节能技术教育部工程研究中心，四川 成都 610031
2 西南交通大学机械工程学院，四川 成都 610031
3 西南交通大学唐山研究院，河北 唐山 063000
枕簧是铁路货车减振装置的关键部件，发挥着承载和缓冲的作用，其尺寸直接影响车辆的减振能力与特性。为保证行车安全，铁路货车段修和厂修时必须对枕簧几何尺寸等进行测量与检查。为提高枕簧检修过程中的测量效率，提出了一种基于三维激光点云的枕簧几何尺寸测量方法。该方法采用线激光传感器获取了枕簧三维点云数据，利用下采样和k-means聚类等算法实现了点云数据的预处理，然后通过平面拟合利用高度测量算法测量了枕簧高度；经过点云降维、边缘提取、圆分割后利用改进的圆拟合算法测量了枕簧内、外直径。搭建试验平台进行了测量算法的精度、可靠性和重复性试验。结果表明：测量10组不同枕簧，最大平均误差在±0.35 mm内，平均测量时间为2.7 s；测量4组枕簧10次，最大平均误差在±0.35 mm内，重复性小于3%。测试结果具有良好的精度和稳定性，满足检修规程和检修工艺要求。
测量 枕簧测量 三维点云 线激光传感器 平面拟合 中国激光
2023, 50(19): 1904001
1 四川大学电气工程学院，四川 成都 610065
2 四川省产品质量监督检验检测院，四川 成都 610100
双向相移结构光三维成像具有更高鲁棒性，但在两个方向上使用相同数量的多频相移编码，增加了扫描时间。利用极线几何，提出一种改进的双向结构光编解码算法，在保证精度的前提下能有效减少一个方向的编码图像的数量。首先，在纵向进行多频相移结构光扫描，得到纵向相位。利用极线几何，将纵向相位映射为横向临时相位。然后，在横向使用最高频结构光扫描，得到横向的高频缠绕相位。利用横向临时相位，对横向的缠绕相位进行解缠绕，得到最终的横向相位。最后，建立相机和投影机间的直线模型，在计算三维点云时，计算相机视线和投影机视线的交点，避免了传统的矩阵求逆方法，提高了点云计算速度。实验结果表明：1）最终横向相位的均方根误差为；2）双向扫描和单向扫描后的三维点云计算速度分别提升了6.08倍和4.10倍；3）与传统的方法相比，所提针对单向扫描三维重建方法的误差在以内。
机器视觉 双向扫描 极限集合 直线模型 三维点云 激光与光电子学进展
2023, 60(16): 1615006
