1 东南大学 自动化学院，江苏南京20096
2 东南大学 复杂工程系统测量与控制教育部重点实验室，江苏南京10096
3 南京航空航天大学 空间光电探测与感知工业和信息化部重点实验室， 江苏南京211106
为了在严重遮挡以及少纹理等具有挑战性的场景下，准确地估计物体在相机坐标系中的位置和姿态，同时进一步提高网络效率，简化网络结构，本文基于RGB-D数据提出了采用辅助学习的六自由度位姿估计方法。网络以目标物体图像块、对应深度图以及CAD模型作为输入，首先，利用双分支点云配准网络，分别得到模型空间和相机空间下的预测点云；接着，对于辅助学习网络，将目标物体图像块和由深度图得到的Depth-XYZ输入多模态特征提取及融合模块，再进行由粗到细的位姿估计，并将估计结果作为先验用于优化损失计算。最后，在性能评估阶段，舍弃辅助学习分支，仅将双分支点云配准网络的输出利用点对特征匹配进行六自由度位姿估计。实验结果表明：所提方法在YCB-Video数据集上的AUC和ADD-S<2 cm结果分别为95.9%和99.0%；在LineMOD数据集上的平均ADD（-S）结果为99.4%；在LM-O数据集上的平均ADD（-S）结果为71.3%。与现有的其他六自由度位姿估计方法相比，采用辅助学习的方法在模型性能上具有优势，在位姿估计准确率上有较大提升。
六自由度位姿估计 辅助学习 深度图像 三维点云 6-DoF pose estimation auxiliary learning RGB-D image 3D point cloud
1 合肥工业大学仪器科学与光电工程学院，安徽 合肥 230009
2 合肥工业大学测量理论与精密仪器安徽省重点实验室，安徽 合肥 230009
针对传统位姿测量的不足，提出了一种基于三维数字图像相关（3D-DIC）法的空间刚体位姿估计方法，该方法利用双目相机拍摄待测物运动前后的图像序列，通过3D-DIC方法进行匹配计算，获得待测物运动前后的全场坐标信息，选择计算点坐标后对其进行奇异值分解，求得位姿参数。针对3D-DIC在测量大旋转时误差较大的情况，提出了一种增加中间图像的匹配计算方法。通过平移自由度和旋转自由度的实验验证，本文方法可实现空间刚体多个位姿参数的测量，三个平移自由度的测量误差均小于0.07 mm，测量角度小于10°时，偏航角和滚转角的测量误差均小于0.2°。
测量 数字图像相关法 位姿估计 六自由度
天津大学精密测试技术及仪器国家重点实验室，天津 300072
针对传统装配方法面向平面弱几何轮廓结构的工件装配任务表现出的数据配准成功率低、位姿控制精度不足的问题，提出一种基于平面点云配准与相对位姿控制的工业件装配方法。首先通过双目结构光传感器重建出工件点云信息，应用RANSAC-ICP算法对重建结果进行配准，并结合平面法向量特征与最大距离关系进行纠正，从而实现精准点云配准。然后，提出基于相对位姿关系的机械臂控制方法，省略了对工具坐标系的标定，直接利用相对位姿控制机械臂运动，并将相对位姿误差结果作为控制系统误差的评价标准，从而实现可靠装配。最后，在真实测试场景下使用大型工业机械臂进行实验。结果表明，所提方法较传统装配方法装配成功率提升85个百分点，自动化装配精度优于0.5 mm，即该方法可以有效解决平面工件装配问题。
机器视觉 点云配准 机械臂 装配 工业场景 相对位姿估计 激光与光电子学进展
2024, 61(4): 0415001
天津大学精密仪器与光电子工程学院精密测试技术及仪器国家重点实验室，天津 300072
单目视觉中的参考点共面问题是计算机视觉领域内一个基础而重要的问题。建立了针对共面参考点的PnP（Perspective-n-Point）问题模型，并提出了一种稳健的解决方法，具体包括直接法和迭代法两个部分。在直接法环节，针对位姿恢复过程中存在的尺度不统一问题，利用奇异值分解方法对旋转矩阵的恢复进行改进，获得相机位姿估计结果，并将此结果用作迭代法的初始值。在迭代法环节，介绍了以物方空间共线性误差为目标函数的正交迭代算法，为提升该算法的稳健性，研究了加权正交迭代算法，确立了重投影误差中外点的判定阈值并以此为依据引入了权重信息。实验结果表明，在参考点数量较少或少量异常值存在的条件下，所提方法具有良好的计算精度及稳健性，有较高实用价值。
单目视觉 共面参考点 位姿估计 共线性误差 激光与光电子学进展
2024, 61(4): 0411004
光学 精密工程
2023, 31(21): 3135
天津大学精密测试技术及仪器国家重点实验室，天津 300072
提出一种新型的关键点距离表征学习网络，该网络利用位姿变换过程的几何不变性信息，在网络中引入距离量的估计，进而推导出稳健关键点，以此来提升基于深度学习的六自由度物体位姿估计方法的精度。所提方法包含两个阶段。首先，设计了关键点距离表征网络，通过一种骨干网络模块和特征融合结构实现RGB-D图像特征提取，并结合多层感知机预测物体逐点相对于关键点的距离量、语义和置信度。其次，根据可视点投票法及四点距离定位法，利用网络输出的多维信息推理计算关键点坐标，并最终通过最小二乘拟合算法得到物体位姿。为了证明所提方法的有效性，在公开数据集LineMOD和YCB-Video上进行了测试，实验结果表明，所提方法相比于原PSPNet框架中的ResNet参数量减少一半且精度有所提升，在两个数据集上精度分别提升了1.1个百分点和5.8个百分点。
机器视觉 六自由度位姿估计 深度学习 关键点距离表征网络 特征提取 激光与光电子学进展
2023, 60(16): 1615008
1 国防科技大学空天科学学院，湖南 长沙 410073
2 图像测量与视觉导航湖南省重点实验室，湖南 长沙 410073
运动相机相对位姿估计是基于机载光电平台进行视觉定位的关键技术。在大倾角、小交会角等典型受限观测条件下，相机位姿估计精度易受姿态角误差和像点提取误差的影响，使目标定位精度难以满足应用需求。针对惯性测量单元测量角度随时间发生漂移，且惯性测量单元与相机安装关系标定繁琐的问题，提出了一种惯性测量单元与相机固联安装下的对地定位方法，无需标定相机和惯性测量单元之间的安装关系。首先，利用固联安装的惯性测量单元为运动相机提供相对旋转角信息；然后，根据1个相对旋转角和4个同名点估计运动相机的相对位姿；最后，采用投影矩阵交会法线-线交会出目标的空间位置。仿真和飞行实验表明，在典型受限观测条件下，所提方法定位精度优于传统定位方法，具有高精度、高效率、强鲁棒性等优点。
测量 机载光电平台 惯性测量单元 受限观测条件 位姿估计 对地定位 中国激光
2023, 50(14): 1404005
1 大连交通大学 机械工程学院，辽宁 大连 116028
2 中国人民解放军 91550部队，辽宁 大连 116023
针对在飞行目标位姿估计中背景复杂、目标提取及位姿解算精度低、速度实时性差等问题，提出了一种激光与图像信息融合的飞行目标位姿估计方法。首先，建立彩色相机和激光雷达间的坐标变换模型实现两传感器像素级匹配，对同一时刻的图像和点云进行融合处理；其次，采用ViBe算法与深度信息融合对图像中运动目标进行提取，并根据图像目标的位置框选出对应的点云；最后，利用PnP算法进行特征点粗配准，获取点云间初始旋转平移矩阵，并采用迭代最近点算法进行精配准，利用IK-D Tree加速临近点搜索，提高配准速度。使用仿真试验和半实物仿真试验对方法准确性和稳定性进行了验证，结果显示：二维图像目标检测算法正确率为97%，错误分类比为0.0112%；位姿估计算法与传统迭代最近点算法相比精度提高了53.2%,单次耗时从261 ms降低至132 ms，效率提升约49.4%，与其他算法相比也具有一定优势。为飞行目标落点精准预测和制导控制提供解决思路。
双模态信息融合 位姿估计 飞行目标 目标提取 bi-modal information fusion pose estimation flying target target extraction 红外与激光工程
2023, 52(3): 20220618
1 西安建筑科技大学信息与控制工程学院，陕西 西安 710055
2 西安交通大学自动化科学与工程学院，陕西 西安 710049
为解决工厂流水线上不同种类动态物品的快速精准抓取问题，提出一种两阶段动态多物品定位抓取方法。第1阶段采用所提多尺度上下文感知的单分支融合语义分割网络获取目标物品的掩码区域：首先特征提取网络采用单分支结构，在保证提取丰富的空间信息和高层语义信息的同时，减小网络参数量；随后特征融合网络通过双边引导特征融合模块增强空间信息和语义信息的表达能力；最后设计特征增强网络，通过特征辅助收敛模块嵌入浅层和深层网络中，加快网络收敛速度。第2阶段采用基于轮廓点检测的快速位姿估计策略在掩码区域预测最佳抓取点位姿。在自建数据集上的测试及流水线平台抓取实验结果表明，所提方法能实时检测和预测物品抓取点位姿，精准完成物品抓取，其分割精度、预测时间和抓取成功率均优于对比方法。
机器视觉 机器人抓取 两阶段定位抓取算法 多尺度上下文感知 特征增强 位姿估计 激光与光电子学进展
2023, 60(6): 0615005
刘耀华 1,1,2,2,3,3,4,">">">*马钺 1,1,2,2,4,4许敏 1,1,2,2,4,4
1 中国科学院沈阳自动化研究所，辽宁 沈阳 110016
2 中国科学院机器人与智能制造创新研究院，辽宁 沈阳 110169
3 中国科学院大学，北京 100049
4 辽宁省智能检测与装备技术重点实验室，辽宁 沈阳 100179
针对多目标位姿估计过程中点云局部特征存在类间错误匹配的问题，提出了基于点云实例分割的鲁棒多目标位姿估计算法。首先，基于密度聚类对场景点云进行分割得到点云簇，并用快速点特征直方图（FPFH）描述子对分割后的点云簇进行局部特征提取；然后利用随机森林算法对聚合后的点云簇的局部特征进行分类，完成点云实例分割；之后对于场景中每一个分割后的实例，采用近似近邻快速库（FLANN）匹配算法对场景实例和模型进行特征匹配，得到实例分割后的点在对应类别模型上的匹配点，利用随机采样一致（RANSAC）算法以及最小二乘算法计算初始位姿；最后经过点到平面迭代闭合点（ICP）算法得到每个实例的精确位姿。在CV-Lab 3D合成数据集以及UWA真实采集数据集下的实验结果表明，相比直接匹配模型和全部场景点的局部特征进行多目标位姿估计，所提算法能够有效提升局部特征匹配阶段的内点概率，从而提升复杂场景下位姿估计的鲁棒性和准确率，尤其适用于场景中具有多个实例的位姿估计应用。
图像处理 点云 实例分割 位姿估计 局部特征匹配 随机森林 激光与光电子学进展
2023, 60(4): 0410020
