高反光对象表面的结构光三维成像方法 下载: 1374次
1 引言
相位测量轮廓术(PMP)是一种基于结构光测量技术(SLI)的三维(3D)重建技术[1],具有灵活、高精度,以及非接触性等优点[2-4],被广泛应用于三维建模、自动化制造、产品质量检测,以及生物识别等领域[5-7]。在实际应用中,需要照相机准确获得被测物体被投影编码图案时的反射光作为求解相位的依据,常用的编码图案有线、条纹、棋盘格及圆点等[8-9]。由于类镜面物体具有表面光滑,反射率大等特征,捕获的图片中部分光强度极高的区域像素的光强度被限制在照相机的最大量化值,即光强度饱和[10]。光强度饱和会引起饱和区域的像素信息失真[11],导致解相位的准确性下降,严重影响了三维测量的精度[12]。
针对这一问题,赵婧等[13]建立了每个饱和像素点各帧光强值的数学模型,使用在未饱和时的光强值计算相位,该方法仅能抑制光强饱和造成的误差,但却不能消除误差。Zhang等[14]提出一种高动态扫描技术,通过查找饱和像素在其他帧中的未饱和最大强度值进行图像融合,此方法耗时较长,需要调节多组曝光值,进行多次扫描实验。Long等[15]在Zhang的基础上改用像素的
为了能够准确识别饱和区域,减少饱和误差,本文提出了一种基于二值相移编码投影图案的相位融合算法。该方法通过投影二值相移图案,由同一频率下不同帧的光强度的大小判断是否饱和,并使用相位融合算法进行修复。二值相移图案与传统的正弦图案相比,其抗干扰能力更强,适合对高动态范围的物体进行扫描[21]。与传统的图像融合算法相比,该算法不仅能更加灵活有效地检测饱和区域,减少计算量,也能很好地修复光强饱和引起的相位误差。
2 基本原理与方法
2.1 二值相移编码重建原理
经典PMP测量方法是通过向被测物表面投影一组定量相移的正弦光栅,并由照相机同步捕获调制后的光栅图像,进行处理得到相位[22]。Ekstrand等[23]投影具有相移的二值编码图案,使用传统PMP方法求解相位。刘凯等[24]归纳出了一种结构光周期编码的统一解码方法,并证明在频率足够高时,不同周期图案的相位误差接近。针对正弦光栅在扫描高反光物体表面时易受到亮度干扰,投影速度较慢且需要非线性校正的问题,使用二值相移编码图案替代,图案由黑白两种条纹组成,投影的图案表示为
式中:
式中:
理想情况下,对于每一个像素点,其灰度分布形成了周期方波,根据傅里叶变换,任何周期信号都可以表示为正余弦信号的叠加,对像素点灰度值的时间序列做离散傅里叶变换可得:
式中
在获得被测物的相位信息后,通过结构光测量系统标定获得的投影设备和摄像设备之间的标定信息,就可以恢复被测物表面的三维数据[25]。
2.2 饱和误差分析
在理想情况下,单个像素的图像强度值可以被照相机正确记录,然而实际上,由于某些扫描对象表面反射率过高等原因,实际的强度值大于照相机的最大量化值。两者之间的关系可以表示为
式中:
如果编码图案的光强小于0或大于255,会产生测量误差,甚至导致测量失败。分析(7)式可知,由光照饱和造成的误差既与照相机获取的图像的光强调制有关,也与投影仪投射的光栅图片的数量
2.3 饱和像素检测与相位融合算法
在传统的图像融合算法中,当像素点的光强值达到照相机的最大量化值时就判断出现光强饱和,显然忽略了真实光强值的这种情况,也就造成了很多像素点的误判,增加了计算量。在传统的PMP方法中,照相机拍摄的非饱和区域的灰度值也非常容易受到光强饱和区域反射光的干扰。针对这一问题,二值相移编码方法只需要区分黑白两种区域,增加了抗干扰能力,同时在编码中加入了高频成分,可以提高相位的精度。
由二值相移图案的周期性和对称性可知,同一频率下照相机捕获的
式中
由(9)式可知,当
式中函数min{·}为选取饱和强度最小的一组,而当没有饱和误差时,可知满足条件的不止一组,所以使用
函数max{·}是取集合
式中
3 实验结果
通过实验验证算法的实际效果,实验系统包含一台分辨率为640 pixel×480 pixel的Prosilica GC650C照相机,一台分辨率为800 pixel×600 pixel的Casio XJ-A155V的投影仪和一台用于控制设备和处理数据的电脑,如
利用(1)式生成最大强度为255的频率分别为1,4,16和32的二值相移编码图片各30张,作为基础图案。随后生成最大强度依次递减20的二值相移图案,直到最大强度为55的用于相位融合的图片组共10组。图案灰度值的间隔越小,越能保证像素在不饱和的情况下的调制幅度最大化,测量结果也就越准确。但是相应的投影的次数也随之增多,需要采集的相移图案也就越多。在扫描表面较为平滑,形状简单且易于检测的物体时,间隔可以较大。依次投影生成的二值光栅图案,并用照相机同步捕获。在每次投影后对投影的结果进行分析,判断是否出现饱和区域,如果没有则停止投影最大强度值更低的相移图案。从
图 1. 实验装置与结果。(a)扫描系统;(b)被测不锈钢板的一帧变形条纹
Fig. 1. Experimental setup and results. (a) Scanning system; (b) deformed fringe of stainless steel plate in one frame time
为了验证检测饱和误差区域算法的有效性,利用强度值为255且频率为32的30张图片组确定饱和像素,如
图 2. 饱和区域检测。(a)所提算法;(b)传统算法
Fig. 2. Detection of saturation region. (a) Proposed method; (b) conventional method
为了验证检测方法的有效性,使用光照强度较低且数量相同的扫描图案,以未出现饱和现象的扫描结果与由光强度饱和而产生相位误差的扫描结果作为对照组,分析出现相位误差的区域,如
使用传统的PMP算法,选取投影频率依次为1,4,16和32的编码图片各30张,总计120张,实验结果如
4 分析与讨论
图 4. 三维重建结果。(a)传统PMP算法;(b)所提算法
Fig. 4. Results of 3D reconstruction. (a) Conventional PMP algorithm; (b) proposed method
由
表 1. 不同方法的相位误差比较
Table 1. Comparison of phase errors by different methods
|
光物体表面时因光照强度饱和而造成的饱和相位误差,大幅提高了实验精度,并且也验证了本文算法对存在饱和误差区域检测方面的有效性。本文算法检测到当投影最大强度值为95的二值图案时,存在饱和误差的区域消失,而传统方法在投影最大强度值为55的投影图案时仍然能检测到饱和像素,还需要继续投影最大强度值更小的图案完成重建。但投影亮度过低会降低像素的信噪比与灰度调制幅度
在饱和区域检测的方法中,除了使用像素的强度值,还经常使用像素的调制度,即(2)式中的
由(3)式可知,当像素的强度值在图片组中的每张图片中都很大且相近时,调制度反而会变小,反映在
为了验证本文方法的适用范围,证明其对外形更为复杂的被测物体的有效性,对剪刀进行三维重建,效果如
利用二值图案代替传统正弦图案可以提升测量速度,且抗干扰能力强,无需非线性校正。以DLP LightCrafter 4500投影仪为例,可以实现高达4225 frame/s的二值图形投影速率,而与之相应的投影8位灰度图形的速率只有120 frame/s。可以看出,所提方法在实际应用中可以大大减少扫描所需的时间。
5 结论
对于传统PMP方法在扫描高反光物体表面时出现部分区域光强饱和的情况,使用二值相移编码图案代替正弦图案。与正弦图案相比,二值图案投影速度更快,不易受到饱和像素干扰且无需非线性校正。对部分像素光强饱和造成的饱和相位误差较大的区域,利用二值相移图案的周期性与对称性,可以更加准确地检测出存在饱和误差的区域,将原相位替换为较低光照强度下没有饱和误差的相位,完成被扫描物体的三维重建。与传统的基于像素灰度值判断是否饱和的方法相比,所提方法在不影响测量精度的情况下避免了当灰度值的真值接近照相机最大量化值时,被误判为饱和像素的情况,减少了不必要的计算与相位误差。理论分析和实验结果表明:所提算法与传统的基于像素灰度值的检测方法相比能更准确地检测出存在饱和相位误差的区域,减少了后续重建过程的计算量,并且通过相位融合的方法可以有效减少95.7%的饱和相位误差,减少的最大相位误差高达96.1%。
[4] LilienblumE, Al-HamadiA. A structured light approach for 3D surface reconstruction with a stereo line-scan system[C]∥Proceedings of 2014 IEEE International Instrumentation and Measurement Technology Conference, 2014: 1171- 1176.
[8] 李程辉, 张英杰, 韩江涛, 等. 应用于条纹中心提取的非对称条纹调整方法[J]. 中国激光, 2017, 44(5): 0504005.
[9] 刘凯, 王江, Yo-Sung Ho. 三维测量结构光一维编码投影机的设计[J]. 激光与光电子学进展, 2018, 55(6): 061202.
[11] 王烨茹, 冯华君, 徐之海, 等. 基于饱和像素剔除的自动对焦评价函数[J]. 光学学报, 2016, 36(12): 1210001.
[12] 刘飞, 何春桥, 申爱民, 等. 结构光饱和区域分区投射优化补偿方法[J]. 光学学报, 2018, 38(6): 0612001.
[13] 赵婧, 王永昌, 刘凯. 一种抑制相位测量轮廓术饱和误差的方法[J]. 中国激光, 2013, 40(10): 1008001.
[16] WaddingtonC, KofmanJ. Sinusoidal fringe-pattern projection for 3D surface measurement with variable illuminance[C]∥Proceedings of 2010 International Symposium on Optomechatronic Technologies, 2010: 1- 5.
[22] 康新, 何小元, Quan C. 基于正弦条纹投影的三维传感及其去包裹处理[J]. 光学学报, 2001, 21(12): 1444-1447.
[24] 刘凯, 钟朋. 结构光周期图案的统一解码方法[J]. 强激光与粒子束, 2016, 28(9): 28091001.
[25] 刘超, 盖绍彦, 达飞鹏. 结构光测量中分区域相位误差补偿方法研究[J]. 中国激光, 2018, 45(6): 0604002.
郑宏博, Yo-SungHo, 刘凯. 高反光对象表面的结构光三维成像方法[J]. 激光与光电子学进展, 2019, 56(5): 051202. Hongbo Zheng, Ho Yo-Sung, Kai Liu. Three-Dimensional Imaging Method of High-Reflective Objects Based on Structured Light[J]. Laser & Optoelectronics Progress, 2019, 56(5): 051202.