基于自适应条纹的高反光表面三维面形测量方法 下载: 1407次
1 引言
相移条纹投影技术由于具有全场获取、非接触式、低成本、高精度和快速数据处理等优势,现已广泛地应用于学术研究和工业领域[1-2]。基于数字投影仪 (DLP)与数字相机的数字投影光栅技术也被越来越多地用于高精度的光学三维测量中。传统的条纹投影三维精密测量系统对被测物体表面的光学特性有一定的要求,即要求被测物体表面有足够的漫反射且不能存在大面积的镜面反射。然而,在实际的测量过程中,被测物体材质不同,其表面有不同反射特性,光栅条纹的调制效果会受到不同程度的影响。其中,物体表面高反射率造成的图像过饱和是影响相位获取和最终三维重建结果的因素之一。在使用编码结构光测量具有高反射率表面的物体时,采集图像容易产生饱和现象(即对于图像位深度为8 bit的相机,饱和区域灰度值超过255),致使最终的测量结果发生较大偏差,从而难以进行精确测量[3-4]。因此,研究高反光物体的三维面形测量对于进一步提高现有结构光三维扫描技术的自动化程度,并拓展其应用领域具有重要的研究意义和极大的应用价值。
目前,解决高反光物体三维面形测量问题的方法主要分为多相机或多视角拍摄法[5-6]、改进的基于编码方案重建法[7-9]、高动态范围成像法[10-12]、多重曝光法[13-15]、自适应条纹投影法和添加辅助硬件法[16-18]等。其中自适应条纹投影法(ADFP)是基于自适应调整光栅投影强度的方法和反投影的思想提出的。对于相机-投影仪测量系统,在求得相机和投影仪坐标匹配关系以及图像灰度变化关系的基础上,可以得到投影仪像素灰度和采集图像灰度的对应关系,从而可通过改变投影图像灰度来使相机采集到最佳的图案[19]。Babaie等[20]提出计算投影仪与相机的整体对应关系并逐像素调整光栅强度。该方法采用整体匹配关系生成光栅,无法对光栅强度值进行准确调整。Waddington等[21]通过减少投影强度来解决图像饱和问题,将多幅具有最大投影灰度值(MIGL)的条纹图案投影至被测物体上,以适应环境光的变化。但对于具有低反射率的表面,降低最大投影灰度值会降低图像的信噪比。Li等[22]提出自适应条纹投影法,利用二值化图像提取过曝区域及其边缘像素,由边缘像素解算出投影平面的过曝区域边缘,最终确定过曝区域在投影平面的局部补偿位置。该方法容易引起过曝区域边缘像素点的相位信息缺失,计算结果不够精确。Lin等[23]提出了一种逐像素的自适应调整光栅技术,通过求解相机-投影仪响应曲线来求取最佳投影灰度值,由饱和区域边缘的坐标匹配来估计饱和区域内部的坐标匹配关系。该方法可较好地生成像素级的自适应光栅,但利用单应性矩阵计算坐标匹配所涉及的计算量很大,且不适用于阶梯状的被测物体。Li等[24]采用基于二分法的灰度查找算法,利用图像灰度值有限、量化的特性以及投影仪-相机响应关系的有序单调性,实现最佳投影灰度值的快速查找。但查找过程中饱和阈值的设定是一个极具经验性的工作,若投影仪的精度有限,自适应光栅生成的质量将会受到很大影响。陈超等[25]提出基于自适应条纹投影技术的彩色物体三维形貌测量,投射红、绿、蓝三幅光强图像至被测物体表面,并根据表面颜色的反射特性计算像素点的最佳投射强度与彩色值。但该方法对光照环境较为敏感,多应用于暗室环境下。
鉴于此,本文提出一种基于图像融合和插值预测的自适应条纹投影方法以测量高反光物体的三维面形。该方法根据被测物体表面的反射率变化,基于掩模图像融合求取饱和阈值,并结合插值预测算法求得最佳投影灰度值,然后通过整体降低投影强度,在采集图像不发生饱和的情况下进行坐标匹配。实验结果表明,相对于传统光学三维测量方法,所提方法采集的图像具有整体最佳条纹对比度,可实现高反光物体过曝区域的完整重建,有效解决了高反光物体的三维面形测量难题。
2 基本原理
2.1 自适应条纹投影法
本文提出一种自适应条纹投影技术用于高反光物体三维面形测量,根据被测物体表面的反射率自适应调整条纹灰度值,以避免采集图像饱和。这里的“自适应”是指在具有较大反射率变化的高反光物体三维面形测量中,能够计算出投射条纹图案中每个像素的最佳投影灰度值
所提方法的测量流程如
2.2 求解最佳投影灰度值
本文通过图像融合的方法获得求取最佳投影灰度值所需的饱和阈值,结合插值预测查找算法求得最佳投影灰度值。首先,投射一系列具有不同均匀灰度值的图像序列至被测物体表面,并利用相机采集对应的灰度图像。在不同亮度的条纹投影下,只有使灰度图像都不出现过饱和现象的投影灰度值才是最佳投影灰度值。具体的求解流程如下。
1) 投射均匀灰度图像序列Pi=255-K×(i-1),其中i为该图像序列数目编号,i=1, 2,…,N, N为数目编号的最大值,K为步长。对应的灰度图像为Ii。相机采集的图像序列为Ik(uc,vc),其中k为采集图像序列数目编号,k=1, 2,…,N,(uc,vc)为相机像素坐标系下的图像坐标。投影强度最初设置为最高灰度值255。通过降低投影强度,在恒定的步长K下所有的图像像素可达到不饱和状态。
2) 运用图像阈值分割方法,即反阈值化为0,并求取有效均匀灰度图像序列Gi(uc, vc)。
式中:tthresh为设定的分割阈值。
3) 运用反二进制阈值化,求取有效掩模图像序列Mi(uc,vc)。
取最大阈值mmaxval=1,实现反二进制阈值化。相机采集的图像序列Ik(uc,vc)中所对应的最大不饱和像素点灰度值即为序列像素的最佳灰度值。
4) 投影图像H(uc,vc)是由掩模图像序列Mi(uc,vc)和有效均匀灰度图像序列Gi(uc,vc)的灰度值合成,可表示为
5) 由于阈值分割算法的不足和过曝区域边缘像素点的信息获取有部分缺失,因此该投影图像中最大灰度值并不是最终自适应条纹投影图案的最佳灰度值。相机-投影仪灰度响应曲线为
式中:Icam(x,y)为相机采集的图像灰度值;Ipro(u,v)为投影灰度值;(x,y)为相机像素坐标;(u,v)为对应的投影图像坐标; k1为投影仪、相机以及物体对投影强度的调制系数;k2为特定测量情况下的环境光等因素;In为噪声强度。对于特定的被测物体与测量环境,若反射率、环境光、噪声等不变,相机参数、投影仪参数、投影图像共同决定相机采集的图像灰度值。(4)式为线性函数,它的定义域与值域均为有限且有序的数集,因此本文采用插值预测快速查找算法
式中:ymax为步骤4)中合成的最终图像的最大灰度值;合成图像的宽度llow和高度hhigh取决于图像分辨率大小;A[ylow]为灰度值数组中的最小值;A[yhigh]为灰度值数组中的最大值。将目标元素ymax与数列中间元素的mmid作比较,运用二分法查找,通过不断迭代即可求得最佳投影灰度值xideal。
2.3 相机-投影仪坐标匹配
在投影正交正弦相移光栅的三维测量系统中,相位解算是求得相机与投影仪坐标匹配关系的关键。利用相机采集经物体调制的光栅图像,利用解相位算法求得水平相位与垂直相位,解算出来的相位包含相机像素坐标(x,y)对应的投影图像坐标(u,v)信息。水平方向和垂直方向的相位直接对应于投影仪的横纵坐标。
式中:水平方向绝对相位φv(x,y)和垂直方向绝对相位φh(x,y)由外差式多频相移法求得;Nv和Nh分别是自适应横纵光栅条纹的周期数;W和H分别是自适应光栅条纹图像的宽和高。匹配过程如
图 3. 投影仪-相机坐标匹配示意图
Fig. 3. Schematic diagram of coordinate matching between projector and camera
考虑轮廓像素提取的复杂度和实际光学成像系统中某一点的像素值会受到周围多个像素点的影响,在实验中降低整体的投影强度,在低灰度不饱和的测量条件下进行有效坐标匹配。根据2.2节提出的方法求取所需的低投影强度xideal,在相机动态范围内,该强度可使相机图像最高灰度值不会出现饱和现象。
式中:φ(u, v)为解算的相位主值;相移步长δi=i×
利用相机采集投影条纹图案,计算相位主值并解包裹相位,由相位信息解算饱和区域像素坐标匹配关系。
3 分析与讨论
为验证所提方法的有效性,搭建了一套自适应条纹投影测量系统,如
表 1. 传统方法点云测评分析
Table 1. Evaluation and analysis of point cloud by conventional method
|
首先,向被测物体投射一系列具有不同灰度值的均匀灰度图案序列Pi,由相机采集相应的均匀灰度图像序列Ik(uc,vc)。均匀灰度图像序列Pi所投射的灰度值依次增大,分别为30、60、90、120、150、180、210、240、255。为了降低环境光照和被测物体表面互反射等因素的影响,采集时相机光圈调整为较小,固定曝光时间并将相机的增益设置为0 dB。为了使相机能与投影仪实现较好的同步,将相机的曝光时间设置为
表 2. 所提方法点云测评分析
Table 2. Evaluation and analysis of point cloud by proposed method
|
由(1)式和(2)式可计算有效均匀灰度图像序列与对应的掩模图像序列。考虑到相机自身的噪声影响,将像素(uc,vc )的灰度值Ik(uc,vc)的阈值取为248。再根据(3)式将掩模图像Mi(uc,vc)和有效均匀灰度图像Gi(uc,vc)融合成图像H(uc,vc),如
通过在序列图像中遍历所有像素点,计算得到合成图像的最大灰度值为210。将合成图像的灰度值作为插值预测查找算法的设定饱和阈值,结合(5)式和(6)式,利用插值预测查找算法查找中间值大小,再利用二分法查找即能够快速求得最佳投影灰度值。此后,在低灰度下实现坐标映射关系生成自适应条纹,条纹投影效果对比如
图 6. 条纹投影效果对比图。(a)传统方法;(b)自适应条纹投影法
Fig. 6. Contrast map of fringe projection effect. (a) Conventional method; (b) adaptive fringe projection method
利用外差式多频相移法进行相位主值展开。投影三组条纹,每组四幅具有不同相移的正弦条纹图,设置条纹频率分别为λ1=1/70、λ2=1/64、λ3=1/59,其对应的相位主值分别为ϕ1、ϕ2、ϕ3。使用外差原理分别叠加ϕ1、ϕ2和ϕ3,求得频率为λ12、λ23的相位ϕ12和ϕ23。然后,再将频率为λ12、λ23的相位叠加得到全场范围内只有一个周期相位的
对最终相位展开图抽取第0~945行相位值进行分析,结果如
图 9. 三维重建效果对比。(a)传统方法;(b)自适应条纹投影法
Fig. 9. Comparison of three-dimensional reconstruction effect. (a) Conventional method; (b) adaptive fringe projection method
图 10. 三维点云深度图对比。(a)传统方法;(b)自适应条纹投影法
Fig. 10. Three-dimensional point cloud depth map. (a) Conventional method; (b) adaptive fringe projection method
对被测物体点云进行三角网格化以构建模型,进一步将模型数据与原始点云数据进行质量比较分析。规定基准面一侧的偏离值为负值,则另一侧为正值,利用最小二乘拟合平面计算点到平面的最大距离和最小距离,并计算出平均误差与标准偏差,结果分别如
由
4 结论
针对具有较大表面反射率变化的物体的三维面形测量,提出了一种基于图像融合和插值预测的自适应条纹投影方法。实验结果表明,该方法可有效测量高反光物体的三维面形,获得较完整面形点云信息。所提方法不需要附加或改进任何硬件设备,也不需要大量采集和投射条纹图,绝对方向平均误差减少了84.1%,正向标准偏差减少了69.4%,可适用于高反光物体的三维面形测量。
[1] Huang L, Xue J P, Gao B, et al. Model mismatch analysis and compensation for modal phase measuring deflectometry[J]. Optics Express, 2017, 25(2): 881-887.
[2] Liu X L, Peng X, Chen H L, et al. Strategy for automatic and complete three-dimensional optical digitization[J]. Optics Letters, 2012, 37(15): 3126-3128.
[3] Lin H, Gao J, Zhang G J, et al. Review and comparison of high-dynamic range three-dimensional shape measurement techniques[J]. Journal of Sensors, 2017, 2017: 9576850.
[4] 陶涛, 郭红卫, 何海涛. 镜面反射面形光学三维测量技术综述[J]. 光学仪器, 2005, 27(2): 90-95.
Tao T, Guo H W, He H T. Overview of optical three-dimensional measurement technique for specular reflection surfaces[J]. Optical Instruments, 2005, 27(2): 90-95.
[5] Chen S L, Xia R B, Zhao J B, et al. Analysis and reduction of phase errors caused by nonuniform surface reflectivity in a phase-shifting measurement system[J]. Optical Engineering, 2017, 56(3): 033102.
[8] Tang S M, Zhang X, Tu D W. Micro-phase measuring profilometry: its sensitivity analysis and phase unwrapping[J]. Optics and Lasers in Engineering, 2015, 72: 47-57.
[9] Wang M M, Du G L, Zhou C L, et al. Enhanced high dynamic range 3D shape measurement based on generalized phase-shifting algorithm[J]. Optics Communications, 2017, 385: 43-53.
[10] Lin HB, SongZ. 3D reconstruction of specular surface via a novel structured light approach[C]//2015 IEEE International Conference on Information and Automation, August 8-10, 2015, Lijiang, China. New York: IEEE, 2015: 530- 534.
[11] Song Z, Jiang H L, Lin H B, et al. A high dynamic range structured light means for the 3D measurement of specular surface[J]. Optics and Lasers in Engineering, 2017, 95: 8-16.
[12] 邢威, 张福民, 冯维, 等. 基于数字微镜器件的高光面物体三维测量方法[J]. 光学学报, 2017, 37(12): 1212002.
[14] Ekstrand L, Zhang S. Autoexposure for three-dimensional shape measurement using a digital-light-processing projector[J]. Optical Engineering, 2011, 50(12): 123603.
[15] Rao L, Da F P. High dynamic range 3D shape determination based on automatic exposure selection[J]. Journal of Visual Communication and Image Representation, 2018, 50: 217-226.
[17] 祝振敏, 裴爽, 陈世明, 等. 基于偏振信息的强反射工件高光去除及视觉测量方法[J]. 光学学报, 2018, 38(11): 1112005.
[18] Jeong J, Kim M Y. Adaptive imaging system with spatial light modulator for robust shape measurement of partially specular objects[J]. Optics Express, 2010, 18(26): 27787-27801.
[20] Babaie G, Abolbashari M, Farahi F. Dynamics range enhancement in digital fringe projection technique[J]. Precision Engineering, 2015, 39: 243-251.
[21] Waddington C, Kofman J. Modified sinusoidal fringe-pattern projection for variable illuminance in phase-shifting three-dimensional surface-shape metrology[J]. Optical Engineering, 2014, 53(8): 084109.
[23] Lin H, Gao J, Mei Q, et al. Adaptive digital fringe projection technique for high dynamic range three-dimensional shape measurement[J]. Optics Express, 2016, 24(7): 7703-7718.
[24] Li S X, Da F P, Rao L. Adaptive fringe projection technique for high-dynamic range three-dimensional shape measurement using binary search[J]. Optical Engineering, 2017, 56(9): 094111.
[25] 陈超, 高楠, 王向军, 等. 基于自适应条纹投影的彩色物体三维形貌测量[J]. 光学学报, 2018, 38(8): 0815008.
[26] Lin H, Gao J, Mei Q, et al. Three-dimensional shape measurement technique for shiny surfaces by adaptive pixel-wise projection intensity adjustment[J]. Optics and Lasers in Engineering, 2017, 91: 206-215.
[27] Lobel I, Leme R P, Vladu A. Multidimensional binary search for contextual decision-making[J]. Operations Research, 2018, 66(5): 1346-1361.
[28] 尚忠义, 李伟仙, 董明利, 等. 基于四步相移光栅投影的三维形貌测量系统[J]. 应用光学, 2015, 36(4): 584-589.
Article Outline
冯维, 汤少靖, 赵晓冬, 赵大兴. 基于自适应条纹的高反光表面三维面形测量方法[J]. 光学学报, 2020, 40(5): 0512003. Wei Feng, Shaojing Tang, Xiaodong Zhao, Daxing Zhao. Three-Dimensional Shape Measurement Method of High-Reflective Surfaces Based on Adaptive Fringe-Pattern[J]. Acta Optica Sinica, 2020, 40(5): 0512003.