1 四川大学空天科学与工程学院，四川 成都 610065
2 中国工程物理研究院机械制造工艺研究所，四川 绵阳 621999
利用深度学习实现视觉图像的实时检测和姿态解算是引导机器人智能抓取的重要手段。针对机器人抓取检测中对准确性、实时性和稳定性的需求问题，构建了一种基于稳定轻量级网络的新型机器人抓取检测方法。将实例归一化层用于网络的卷积层和残差块中，每次只考虑单张图片的一个通道，不仅减少了运算量，还能有效利用单张图片的每个像素信息，在提升每个图像实例之间检测稳定性的同时加快模型收敛的速度；将特征金字塔网络分层结构融入上采样，并结合多维度语义信息增加对多尺度物体检测的准确度和稳定性。所构建的轻量级模型在交并比（IOU）为0.25时准确度为94.4%，画面传输速度为40.8 frame/s，并且在IOU低于0.5时准确度仍保持在80%以上。实验证明了在轻量级网络中加入实例归一化和特征金字塔的有效性。
机器视觉 机器人抓取 轻量级网络 物体检测 姿态检测 中国激光
2023, 50(13): 1304003
1 四川大学电子信息学院, 四川 成都 610065
2 四川大学空天科学与工程学院, 四川 成都 610065
在先进制造中要求对加工的部组件进行在线质量检测,条纹投影三维测量技术因符合在线、非接触的要求而被采用。然而,金属材质表面反射率差异较大会导致拍摄结构光图像过曝和欠曝光,这会造成最终测量数据的缺失或出错。针对该问题,以直接测量得到的不完整点云数据和由计算机辅助设计(CAD)得到的元件设计数据进行迭代最近点(ICP)点云配准,进而得到相机坐标系下的被测物体估算面形的点云数据。将该数据作为预估面形,结合系统标定参数,可建立投影与成像间同名点的图像强度对应关系。利用相机对待测元件上每一点的光强成像响应曲线计算出投影灰度范围和最低投影灰度。最后,利用生成的非等值系数投影光栅进行高反光元件的三维形貌测量。实验结果表明,所提方法在不改变测量系统结构参数和不增加测量系统结构复杂性的情况下,可以更完整地实现高反光元件的三维面形测量。
测量 工业检测 高反光元件 条纹投影 相机响应曲线
1 四川大学电子信息学院, 四川 成都 610065
2 四川大学空天科学与工程学院, 四川 成都 610065
双目结构光三维形貌测量技术在测量高反光物体的过程中,左右图像中对应物体表面的不同位置处出现过度曝光的现象,致使对应区域的相位数据无效。首先将投影系统作为反向相机并与双目系统共同组成多视系统,然后对物体表面的每一点进行多视系统匹配,接着通过调制度来判断每一像素对应相位的有效性,舍弃过曝光图像区域的像素以获得双视共线方程,最后由整体多视方程同时实现三维点云重建。该方法能够有效解决坐标系转换、多系统重建结果的数据冗余和融合误差等问题。实验结果表明,所提方法在500 mm×700 mm大小的视场范围内能够很好地对高反光物体进行完整的三维形貌测量。
测量 三维形貌测量 条纹投影 高反光表面 多视方程 光学学报
2021, 41(22): 2212002
双目结构光三维测量系统在使用之前，需要利用立体靶标或者平面靶标进行系统标定。为了获得良好的精度，通常选择定制高精度靶标，然而定制的标准靶标价格较高，且一旦定制完成，既定的特征参数使得可对应标定的双目系统也相对固定，此类靶标的使用灵活性受到限制。当三维测量系统测量视场较小时，为了降低标定的成本，同时希望标定靶的特征图案灵活可变，可适应多个测量系统的标定使用，利用智能手机屏显靶标对搭建的小视场双目三维测量系统进行标定，完成基于条纹投影的三维面形重建和测量。同时使用定制平面靶标对同一套测量系统进行标定，两个靶标的标定结果对比分析，验证了智能手机屏显靶标作为小视场双目三维测量系统标定靶的可行性。
三维测量 系统标定 双目视觉 屏显靶标 平面靶标 3D shape measurement system calibration binocular vision screen display target planar target
Author Affiliations
Abstract
1 Opto-Electronic Department, Sichuan University, Chengdu 610065, China
2 School of Aeronautics and Astronautics, Sichuan University, Chengdu 610065, China
In this Letter, the periodical errors, which are caused by the nonlinear effect of the commercial projector and camera, are analyzed as a more generic single-coefficient model. The probability density function of the wrapped phase distributions is used as a tool to find the compensation coefficient. When the compensation coefficient is detected, on the premise of ensuring accuracy, a correlation algorithm process is used to replace the traditional iterative process. Therefore, the proposed algorithm improves the efficiency of coefficient detection dramatically. Both computer simulation and experiment show the effectiveness of this method.
nonlinear response phase error probability density function three-dimensional sensing Chinese Optics Letters
2021, 19(10): 101201
1 中国工程物理研究院机械制造工艺研究所, 四川 绵阳 621900
2 四川大学空天科学与工程学院, 四川 成都 610065
3 四川大学电子信息学院, 四川 成都 610065
在基于圆点阵二维平面靶标的相机标定方法中,直接在拍摄的标靶图像中提取的椭圆中心并非真实的圆心投影像点,该圆心成像投影偏差必然会降低相机参数标定精度。基于此,提出将标靶图像逆向投影至空间虚拟矩阵以获得真实圆心像点的迭代标定算法。首先,使用椭圆中心提取方法进行平面相机标定;其次,由标定参数和拍摄图像进行逆向投影获得虚拟物理标靶图像,在近似圆虚拟图像上完成圆心坐标提取;再次,将虚拟圆心坐标转化为物理坐标值并投影到图像上,将其作为圆心真实像点坐标值来进行相机标定;最后,经多次迭代投影和标定完成高精度相机标定。模拟和实验结果表明,所提方法将相机标定精度提高约一倍,可为三维重建和视觉测量提供高精度的相机参数。
测量 相机标定 圆心定位 椭圆拟合 投影成像
1 四川大学电子信息学院, 四川 成都 610065
2 四川大学空天科学与工程学院, 四川 成都 610065
利用单相机中已获得的可靠相位数据,提出一种双目视觉相位匹配中的视差孔洞数据插补方法。该方法在测量系统的标定阶段只需增加一个平面相位和高度数据作为参考,利用数据缺失区域周围有效像素点的三维点云,及相对于参考平面的相位和高度差建立隐式相位-高度映射关系,然后由单相机可靠相位数据实现孔洞区域的点云重建插补。对标准件进行缺失点云插补实验,重建精度为0.07 mm。对人脸面具和葫芦模型进行双目测量和孔洞插补实验,结果证明该方法可以很好地补全遮挡区域缺失的点云。
成像系统 双目视觉 匹配缺失 点云插补 相位
1 四川大学电子信息学院, 四川 成都 610065
2 四川大学空天科学与工程学院, 四川 成都 610065
针对如何方便快捷且准确地获取物体完整面形三维点云数据的问题,提出一种利用旋转台参数标定结果辅助实现多视角三维点云粗拼接的新方法。该方法将一个二维标定靶作为坐标系转换桥梁,仅需两个位置的坐标系关系,即可建立转台转角和不同局部测量坐标系之间的非线性模型,实现对多个测量视角下三维点云的粗配准,为最近点迭代(ICP)算法提供了良好的初值,增加了ICP算法的稳健性。实验表明该方法操作简便、快捷、易实现,拼接后点云误差不大于0.12 mm。
测量 多视点测量 点云拼接 旋转台 坐标变换 中国激光
2019, 46(11): 1104003
1 四川大学 空天科学与工程学院, 四川 成都 610065
2 人工智能四川省重点实验室, 四川 自贡 643000
3 四川大学 电子信息学院, 四川 成都 610065
光束法平差是一种高精度的摄影测量优化方法, 在大尺寸三维测量中起不可替代的重要作用。但光束法平差优化参数初始值的误差会影响最终结果的优化精度、优化发散以及局部收敛等现象发生。以高精度的区域网光束法平差为研究对象, 系统性的对包括重建三维点坐标、图像坐标、外参数旋转角和平移向量四种初值参数对测量精度的影响进行深入分析。模拟研究表明, 光束法平差优化将毫米级的重建三维点初值误差降低10倍以上; 随着图像坐标定位误差的增加优化精度下降很快, 但光束法平差优化精度仍能提高一个数量级; 相机外参数旋转角和平移向量初值误差都对光束法平差优化精度影响较大。模拟结论对实际测量实验具有重要的指导意义。
光学测量 光束法平差 摄影测量 三维重建 摄像机标定 optical measurement bundle adjustment photogrammetry 3D reconstruction camera calibration
四川大学光电科学技术系， 四川 成都 610064
提出一种利用同心圆光栅和契形光栅作为标定模板，基于正交方向消失点摄像机自标定的新方法。新方法利用相移条纹相位提取精度高的特性来求零相位特征点，避免了传统标记点提取误差给标定结果带来的影响。要求摄像机至少从6个方位拍摄标靶，采用四步相移得到光栅的截断相位并求解零相位交点，计算消失点从而解算出摄像机的内参数。根据模拟实验得到影响消失点标定精度因素的分析结果，制作了含有7个周期的同心圆光栅和4个周期的契形光栅。实际测量实验中分别用光栅靶标和灰度同心圆靶标进行相机标定，对比重投影误差，结果证明新方法提高了基于消失点标定算法的精度和稳健性。
光栅 机器视觉 摄像机标定 消失点 交比不变性 同心圆光栅 契形光栅
