1 东南大学 自动化学院，江苏南京20096
2 东南大学 复杂工程系统测量与控制教育部重点实验室，江苏南京10096
3 南京航空航天大学 空间光电探测与感知工业和信息化部重点实验室， 江苏南京211106
为了在严重遮挡以及少纹理等具有挑战性的场景下，准确地估计物体在相机坐标系中的位置和姿态，同时进一步提高网络效率，简化网络结构，本文基于RGB-D数据提出了采用辅助学习的六自由度位姿估计方法。网络以目标物体图像块、对应深度图以及CAD模型作为输入，首先，利用双分支点云配准网络，分别得到模型空间和相机空间下的预测点云；接着，对于辅助学习网络，将目标物体图像块和由深度图得到的Depth-XYZ输入多模态特征提取及融合模块，再进行由粗到细的位姿估计，并将估计结果作为先验用于优化损失计算。最后，在性能评估阶段，舍弃辅助学习分支，仅将双分支点云配准网络的输出利用点对特征匹配进行六自由度位姿估计。实验结果表明：所提方法在YCB-Video数据集上的AUC和ADD-S<2 cm结果分别为95.9%和99.0%；在LineMOD数据集上的平均ADD（-S）结果为99.4%；在LM-O数据集上的平均ADD（-S）结果为71.3%。与现有的其他六自由度位姿估计方法相比，采用辅助学习的方法在模型性能上具有优势，在位姿估计准确率上有较大提升。
六自由度位姿估计 辅助学习 深度图像 三维点云 6-DoF pose estimation auxiliary learning RGB-D image 3D point cloud
南京航空航天大学电子信息工程学院，江苏 南京 211106
随着传感器技术的不断发展，三维点云被广泛应用于自动驾驶、机器人、遥感、文物修复、增强现实、虚拟现实等领域的视觉任务中。然而，直接应用收集到的海量原始点云数据得到的效果不佳，因此，基于深度学习的点云处理方法受到了越来越多的关注和研究。本文综述了近6年来基于深度学习的三维点云处理方法的研究进展。首先给出了三维点云的基本概念和获取方式，简述了4种点云处理任务；然后针对点云去噪和滤波、点云压缩、点云超分辨率以及点云修复-补全-重建任务，重点阐述了相应的深度学习方法的原理，并分析了其优缺点；随后介绍了22种点云数据集和4类评价指标，同时给出了性能对比结果；最后探讨了点云处理方法目前存在的问题，并对未来的研究趋势进行了展望。
深度学习 三维点云处理 点云去噪 点云压缩 点云修复
1 华北电力大学控制与计算机工程学院，北京 102206
2 太仓中科信息技术研究院，江苏 太仓215400
3 中国科学院计算技术研究所，北京 100190
目前在零件模型上容易将低曲率圆柱面的局部区域识别为平面，并且只能做到一种图元的快速准确检测。基于此，提出一种能够同时对平面和圆柱面进行精确快速检测的面向点云数据的面图元快速检测方法。该方法分为粗识别和精化两阶段：首先，将点云划分为小粒度基片，计算基片特征，粗识别出平面基片或圆柱面基片；之后，根据过滤条件将圆柱面基片邻近的平面基片过滤，合并具有相同特征的基片得到完整平面和圆柱面。使用5个机械零件数据进行实验验证，并将其与目前流行的两种识别方法进行比较。结果表明，该方法不会出现其他两种方法存在的遗漏和错误识别现象，同时在多圆柱面相连时的准确分割以及曲面参数精度上，优于其他两种方法。
三维点云 图元检测 区域增长 机械零件 基片特征 激光与光电子学进展
2024, 61(4): 0415006
1 四川大学电气工程学院，四川 成都 610065
2 四川省产品质量监督检验检测院，四川 成都 610100
双向相移结构光三维成像具有更高鲁棒性，但在两个方向上使用相同数量的多频相移编码，增加了扫描时间。利用极线几何，提出一种改进的双向结构光编解码算法，在保证精度的前提下能有效减少一个方向的编码图像的数量。首先，在纵向进行多频相移结构光扫描，得到纵向相位。利用极线几何，将纵向相位映射为横向临时相位。然后，在横向使用最高频结构光扫描，得到横向的高频缠绕相位。利用横向临时相位，对横向的缠绕相位进行解缠绕，得到最终的横向相位。最后，建立相机和投影机间的直线模型，在计算三维点云时，计算相机视线和投影机视线的交点，避免了传统的矩阵求逆方法，提高了点云计算速度。实验结果表明：1）最终横向相位的均方根误差为；2）双向扫描和单向扫描后的三维点云计算速度分别提升了6.08倍和4.10倍；3）与传统的方法相比，所提针对单向扫描三维重建方法的误差在以内。
机器视觉 双向扫描 极限集合 直线模型 三维点云 激光与光电子学进展
2023, 60(16): 1615006
红外与激光工程
2023, 52(6): 20230213
1 内蒙古科技大学信息工程学院，内蒙古 包头 014010
2 内蒙古科技大学工程训练中心，内蒙古 包头 014010
为了对复杂矿井环境下的可见光通信进行研究，提出一种基于点云数据的矿井可见光信道模型构建方法。在传统信道模型的基础上，将不规则石壁和接收端随机倾斜两大因素添加进信道模型中，并基于墙面点云数据，利用逐点插入法对反射面元进行划分，弥补理论信道模型缺乏与真实数据结合的缺陷。在应用阶段，采用遗传算法优化反向传播（BP）神经网络的定位算法，将信道模型应用于可见光定位，在可见光定位中考虑一次反射和接收端倾斜的影响。仿真结果表明：在5.0 m×4.0 m×3.5 m的矿井巷道环境下，与传统信道模型相比，使用基于点云数据的矿井信道模型时，一次反射平均贡献比增大了1倍，约为29.48%，均方根定位误差为13.4 cm。一次反射和接收端倾斜会对定位精度造成显著影响。基于点云数据的矿井信道模型为井下可见光通信和定位的研究提供了一种有效途径。
光通信 可见光通信 矿井 三维点云 信道模型 可见光定位 中国激光
2023, 50(11): 1106005
李少辰 1,2,3张爱武 1,2,3,*张希珍 1,2,3杨志强 1,2,3李梦南 1,2,3
1 首都师范大学资源环境与旅游学院，北京 100048
2 首都师范大学三维信息获取与应用教育部重点实验室，北京 100048
3 首都师范大学空间信息技术教育部工程研究中心，北京 100048
植物三维表型结构信息在生物育种和基因组研究中尤为重要。为了能够有效、快速、无损地实现对植物三维表型信息的提取，以玉米为例，提出一种从图像生成的三维点云提取玉米幼苗叶片尺度的三维表型结构信息的方法。首先利用运动恢复结构算法将手机获取的图像重建生成三维点云；然后结合ExGR指数、条件欧氏聚类算法从环境背景中自动提取玉米幼苗，进而采用区域增长算法分割叶片；最后计算玉米幼苗的株高、三维体积、叶片面积和叶片周长等三维表型结构信息，并分析表型信息随时间的动态变化。结果表明，与真实值相比，所提方法计算的株高、叶片面积和叶片周长的均方根误差（RMSE）分别为0.77 cm、1.62 cm2和1.21 cm，平均绝对百分比误差（MAPE）分别为3.23%、8.27%和4.75%，且决定系数R2均达0.98以上。所提方法可以有效地无损提取玉米幼苗三维表型结构信息，并可以拓展到对其他柱状结构植物的表型信息提取方面。
三维点云 植物表型 可见光植被指数 叶片分割 动态监测 激光与光电子学进展
2023, 60(2): 0210002
贵州大学 大数据与信息工程学院，贵州 贵阳 550025
随着工业现代化进程的加快，三维激光点云技术开始出现在工业目标检测中，对激光点云的目标分割提取也成了工业检测中的关键。常用的三维点云分割方法，如区域生长分割、RANSAC（随机抽样一致）分割、K-means（K均值聚类）等无法做到高水平的目标分割与提取。利用MEMS（micro electromechanical system）3D相机对4组目标进行点云数据采集，利用网状RANSAC分割算法，将目标三维点云进行封装，栅格化分割成网状模块，对每个网状模块中的点云进行平面粗分割，整合模块，用欧式聚类对分割后的目标进行细分割，得到最终的目标提取结果并成功完成计数统计。试验结果表明，所提出的网状RANSAC分割算法的分割完整度为91.0%，平均耗时8.25 s，均优于其余三种传统算法，并且成功完成计数。
目标计数 三维点云分割 栅格化 网状RANSAC industrial detection target counting 3D point cloud segmentation rasterization mesh RANSAC
1 内蒙古农业大学计算机与信息工程学院，内蒙古 呼和浩特 010010
2 内蒙古农业大学草原与资源环境学院草业与草地资源教育部重点实验室,内蒙古农业大学啮齿动物研究中心，内蒙古 呼和浩特 010011
针对复杂背景分割时出现的低效率、过分割等问题，提出一种基于法线估计的三维点云分割方法。首先，改进随机采样一致性（RANSAC）算法，引入法线约束去除背景中大部分平面点云，使得目标点云与大量点云分离，然后采用欧式聚类分割从中提取目标点云。利用鼢鼠头骨三维点云数据进行试验，结果表明，融合的点云分割算法可以将目标鼢鼠头骨点云精确分割，完全去除冗余点云，速度快、准确率高，相较同类型方法表现更优。
三维点云数据 随机采样一致性算法 法线估计 欧式聚类 鼢鼠头骨 3D point cloud data random sampling consensus algorithm normal estimation Euclidean algorithm zokor skull
针对目前基于Morse理论的三维点云拓扑特征提取算法难以删除“伪特征”点，简化后存在噪声特征线的问题，提出了一种基于分段线性Morse理论的三维点云特征提取与简化算法。首先计算函数指标，对特征点进行提取，以各特征点为顶点所包含的三角形为一个集合，计算该集合中两两相邻的三角形法向量的点积，将其最大值作为该点权重，并设置合适的阈值去除“伪特征”点；其次通过特征点生成特征线，完成下降Morse复形的构建；最后选择特征线上不同点的函数指标值，分别计算持续值和考虑特征线实际留存价值的保留系数，两者结合对原有“持续值”法进行改进，得到新的特征线重要性度量指标，并基于该指标实现对三维点云拓扑特征的简化与表达。结果表明，相较其他算法，所提特征提取算法显著减少了“伪特征”点提取，使下降Morse复形构建的时间效率提高了70.37%，点云压缩率提高了22.48%。新的特征线重要性度量方法能获取更简洁、连续且结构完整的特征线，且特征提取与简化过程表现出较强的抗噪性。
分段线性Morse理论 权重计算 保留系数 拓扑简化 三维点云 激光与光电子学进展
2022, 59(18): 1828005
