1 东南大学 自动化学院，江苏南京20096
2 东南大学 复杂工程系统测量与控制教育部重点实验室，江苏南京10096
3 南京航空航天大学 空间光电探测与感知工业和信息化部重点实验室， 江苏南京211106
为了在严重遮挡以及少纹理等具有挑战性的场景下，准确地估计物体在相机坐标系中的位置和姿态，同时进一步提高网络效率，简化网络结构，本文基于RGB-D数据提出了采用辅助学习的六自由度位姿估计方法。网络以目标物体图像块、对应深度图以及CAD模型作为输入，首先，利用双分支点云配准网络，分别得到模型空间和相机空间下的预测点云；接着，对于辅助学习网络，将目标物体图像块和由深度图得到的Depth-XYZ输入多模态特征提取及融合模块，再进行由粗到细的位姿估计，并将估计结果作为先验用于优化损失计算。最后，在性能评估阶段，舍弃辅助学习分支，仅将双分支点云配准网络的输出利用点对特征匹配进行六自由度位姿估计。实验结果表明：所提方法在YCB-Video数据集上的AUC和ADD-S<2 cm结果分别为95.9%和99.0%；在LineMOD数据集上的平均ADD（-S）结果为99.4%；在LM-O数据集上的平均ADD（-S）结果为71.3%。与现有的其他六自由度位姿估计方法相比，采用辅助学习的方法在模型性能上具有优势，在位姿估计准确率上有较大提升。
六自由度位姿估计 辅助学习 深度图像 三维点云 6-DoF pose estimation auxiliary learning RGB-D image 3D point cloud
1 合肥工业大学仪器科学与光电工程学院，安徽 合肥 230009
2 合肥工业大学测量理论与精密仪器安徽省重点实验室，安徽 合肥 230009
针对传统位姿测量的不足，提出了一种基于三维数字图像相关（3D-DIC）法的空间刚体位姿估计方法，该方法利用双目相机拍摄待测物运动前后的图像序列，通过3D-DIC方法进行匹配计算，获得待测物运动前后的全场坐标信息，选择计算点坐标后对其进行奇异值分解，求得位姿参数。针对3D-DIC在测量大旋转时误差较大的情况，提出了一种增加中间图像的匹配计算方法。通过平移自由度和旋转自由度的实验验证，本文方法可实现空间刚体多个位姿参数的测量，三个平移自由度的测量误差均小于0.07 mm，测量角度小于10°时，偏航角和滚转角的测量误差均小于0.2°。
测量 数字图像相关法 位姿估计 六自由度
中国计量大学计量测试工程学院，浙江 杭州 310018
为实现对流化床中目标颗粒空间位姿追踪测量，开发了一种基于单目视觉及彩色纹理编码球体的位姿测量系统。针对空间位置定位，建立了空间球体成像模型，并基于小孔平面成像模型及相机坐标转换模型，结合空间解析几何相关理论，分析了单目位置测量原理。考虑球体颗粒无法通过自身形状特征实现空间姿态测量，引入纹理特征，通过提取目标颗粒纹理，比较并建立其与合成库中已知方向图像之间的相似关系，实现空间姿态的测量。根据以上理论分析，搭建实验系统并进行了一系列实验。结果表明，位置测量综合误差率不大于0.5%，姿态测量误差不大于2°，验证了所提模型的有效性和可行性。
机器视觉 空间位姿 视觉模型 匹配算法 特征融合 激光与光电子学进展
2024, 61(4): 0415005
天津大学精密测试技术及仪器国家重点实验室，天津 300072
针对传统装配方法面向平面弱几何轮廓结构的工件装配任务表现出的数据配准成功率低、位姿控制精度不足的问题，提出一种基于平面点云配准与相对位姿控制的工业件装配方法。首先通过双目结构光传感器重建出工件点云信息，应用RANSAC-ICP算法对重建结果进行配准，并结合平面法向量特征与最大距离关系进行纠正，从而实现精准点云配准。然后，提出基于相对位姿关系的机械臂控制方法，省略了对工具坐标系的标定，直接利用相对位姿控制机械臂运动，并将相对位姿误差结果作为控制系统误差的评价标准，从而实现可靠装配。最后，在真实测试场景下使用大型工业机械臂进行实验。结果表明，所提方法较传统装配方法装配成功率提升85个百分点，自动化装配精度优于0.5 mm，即该方法可以有效解决平面工件装配问题。
机器视觉 点云配准 机械臂 装配 工业场景 相对位姿估计 激光与光电子学进展
2024, 61(4): 0415001
天津大学精密仪器与光电子工程学院精密测试技术及仪器国家重点实验室，天津 300072
单目视觉中的参考点共面问题是计算机视觉领域内一个基础而重要的问题。建立了针对共面参考点的PnP（Perspective-n-Point）问题模型，并提出了一种稳健的解决方法，具体包括直接法和迭代法两个部分。在直接法环节，针对位姿恢复过程中存在的尺度不统一问题，利用奇异值分解方法对旋转矩阵的恢复进行改进，获得相机位姿估计结果，并将此结果用作迭代法的初始值。在迭代法环节，介绍了以物方空间共线性误差为目标函数的正交迭代算法，为提升该算法的稳健性，研究了加权正交迭代算法，确立了重投影误差中外点的判定阈值并以此为依据引入了权重信息。实验结果表明，在参考点数量较少或少量异常值存在的条件下，所提方法具有良好的计算精度及稳健性，有较高实用价值。
单目视觉 共面参考点 位姿估计 共线性误差 激光与光电子学进展
2024, 61(4): 0411004
1 西安交通大学 机械工程学院 机械制造系统工程国家重点实验室，陕西西安70049
2 新拓三维技术（深圳）有限公司 创新实验室， 广东深圳518060
船舶、飞机等发动机为减小体积，采用斜口管路焊接代替弯头连接，管路系统中端头位姿是焊接对齐的前提。针对斜口管路端头位姿的高效高精度测量难题，提出了一种通过重建管路轴线以及管路端面进行端头位姿精确测量的方法。通过获取种子圆柱并设计非线性寻优算法提高圆柱拟合精度，通过高精度种子圆柱扩散重建得到管路轴线。通过双曲率阈值搜索方法对管路边缘进行搜索，得到管路端面边缘点整像素坐标。通过对端面提取得到的整像素坐标进行椭圆拟合结合射线求交方法求解端面边缘亚像素坐标，从而避免插值方法计算亚像素坐标受环境光源影响大的问题。最后，使用逐点最小二乘法重建空间投影平面并在平面上得到残差最小空间椭圆，空间椭圆中心即为管路端点，该投影平面即为端面所在平面，实现了对端头位姿的精确测量。实验结果表明，该方法的测量精度达到0.05 mm，角度测量误差小于0.1°，基本满足斜口管路端头的位姿测量精度要求，对管路的装配具有良好的指导意义。
空间投影平面 管路 端头位姿测量 端面重建 spatial projection plane pipeline endpoint pose measurement end face reconstruction
1 中国科学院 微小卫星创新研究院，上海 201203
2 中国科学院大学，北京 100049
3 中国科学院 空天信息创新研究院，北京 100049
传统的单目姿态估计算法采用卷积网络在图像中定位若干关键点，再基于2D-3D匹配技术估计目标的姿态，但卫星上的关键点分布较分散，卷积网络由于其受限的感受野导致关键点的定位精度低，影响后续姿态估计的精度。此外传统流程需要人工标注关键点位置和目标的掩膜，标注成本高。为了解决传统方法感受野受限问题，在卷积网络中引入自注意力机制，赋予其全局建模能力，提高了关键点的定位精度。为了改善传统方法需要大量人工标注的问题，通过空间雕刻，重构了目标的点云，再将点云重投影回像素平面，自动化获取所需标签，省略了人工标注过程，提高了算法实用性。实验结果表明：所提算法在SPEED数据集上进行验证，关键点定位精度为92%，姿态平移误差为0.236%，姿态旋转误差为9.8610-3弧度，在简化算法复杂度的同时提升了精度。可以有效应用于航天器之间的相对姿态估计。
计算机视觉 姿态估计 关键点检测 自注意力 空间雕刻 computer vision pose estimation landmark localization self-attention space carving 光学 精密工程
2023, 31(21): 3135
1 福州大学 电气工程与自动化学院，福建 福州 350108
2 中国科学院 福建物质结构研究所，福建 福州 350002
3 中国科学院 海西研究院 泉州装备制造研究中心，福建 泉州 362000
针对目前增量学习中所面向目标都是固定姿态这一现象，本文考虑了更严格的设定，即面向多姿态目标的在线类增量学习，并提出了无视姿态重放方法来缓解在线类增量学习中面对多姿态目标时的灾难性遗忘。首先，将2D/3D目标进行点云化处理，以方便提取目标的有效几何信息；其次，基于群对网络进行平移旋转等变性改进，使网络能够提取更丰富的几何信息，从而降低模型在每个任务中受目标姿态的影响；最后，根据损失变化采样特定样本用于重放来缓解灾难性遗忘。实验结果表明，在面对固定姿态目标MNIST、CIFAR-10时，本文方法的最终平均精度分别达到了88%和42.6%，与对比方法结果相近，但最终平均遗忘率明显优于对比方法，分别降低了约3%和15%。在面对多姿态目标RotMNIST、trCIFAR-10时，本文方法依旧能很好地保持在固定姿态目标中的表现，基本不受目标姿态的影响。此外，在3D数据集ModelNet40中的表现也依旧稳定。本文所提方法在在线类增量学习中能够不受目标姿态的影响，同时能缓解灾难性遗忘，具有很好的稳定性和可塑性。
在线类增量学习 灾难性遗忘 无视姿态重放 等变性 点云分类 online class-incremental learning catastrophic forgetting ignoring pose replay equivariance point cloud classification
