1 引言

基于结构光的三维成像技术是通过向被测物体投射特定编码或随机结构光,利用双目立体视觉原理,从记录的图像中解调出物体的三维空间信息。该方法具有精度高、非接触、点密度高、速度快、易于控制实现等优点,在工业检测、生物医学、虚拟现实以及影视制作等领域有着广泛的应用^[1-3]。

目前常用的结构光三维测量方法主要有傅里叶变换轮廓术(FTP)^[4-5]、散斑投影轮廓术^[6-7]和相位测量轮廓术(PMP)^[8-9]。傅里叶变换轮廓术仅需一幅图像即可实现物体表面三维重建,但不适合于梯度较大和表面不连续情况下的测量。相位测量轮廓术需要投射多幅条纹图来获得相位信息,精度较高,多用于静态测量。散斑投影轮廓术只需投影一幅散斑图案,利用数字散斑相关技术来获取同名点进行三维重建,梯度较大时容易造成数据丢失,与傅里叶变换轮廓术相比,该方法在快速动态成像如手持式三维测量系统中应用更为广泛。数字散斑相关方法最初是由Yamaguchi^[10]和Peters等^[11]提出,主要是根据区域灰度相似性进行同名点查找,从而实现物体位移和变形测量。在三维重建中,由于视角位姿变化的影响,左右相机观测窗口区域存在不一致,灰度统计时存在偏差,导致散斑重建精度有限。为此,国内外学者围绕散斑三维重建在精度和速度两方面开展了大量的研究工作。在精度方面,先后提出了多种相关系数计算模型,主要包括互相关计算模型和平方差求和相关计算模型^[12];由于远离中心区域的灰度信息对应关系易受到视角、物体表面调制的影响,Pozzi等^[13]提出采用基于高斯函数权重的相关计算改进模型;Albrecht等^[14]提出基于多幅散斑图的时间相关模型进行高精度三维重建;为进一步提高重建精度,Harendt等^[15]提出一种时空相结合的相关模型。在计算速度上,采用极限约束^[16]、视差约束、灰度约束^[17]等条件减小同名点搜索范围,计算流程上则采用GPU并行加速^[18]等减少重建时间。本文工作主要是围绕空间相关的单幅散斑重建方法进行研究,探索散斑特性对三维重建精度的影响。

2 基本原理

2.1 三维重建原理

双目立体视觉是三维成像的基本原理,其根据空间内同一物点在左右相机像素坐标的差异,恢复出该物点的空间坐标信息。

如图1所示,o_l、o_r分别是左右相机的光心,世界坐标系W-oxyz中一点X_w在左相机坐标系L-oxyz中坐标为X_l,在左右相机得到的像素坐标分别为m_l、m_r。左右相机之间的位姿变换关系为[R_s|T_s],左相机与世界坐标系之间的位姿变换关系为[R_l|T_l]。为简化计算,一般选左相机坐标系作为世界坐标系,根据视线交汇原理,直线o_lm_l与o_rm_r交点X_l的空间坐标表示为

slm^l=Kl[I|0]Xlsrm^r=Kr[Rs|Ts]Xl,(1)

式中K_l、K_r为左右相机的内参,I为单位矩阵, m^l、 m^r分别为校正畸变之后的像素坐标,s_l、s_r为比例因子。通过系统标定,上述参数均可获得,解算(1)式即得到X_l坐标信息。

图 1. 双目立体视觉

Fig. 1. Binocular stereo vision

下载图片 查看所有图片

图 2. 基于数字散斑的三维重建系统

Fig. 2. Three-dimensional reconstruction system based on digital speckle

下载图片 查看所有图片

2.2 数字散斑相关理论

图2所示为基于数字散斑的三维重建系统,投影装置投射一幅散斑结构光图案,左右相机各采集一幅图像。三维重建的关键在于精确确定左右相机的同名点对应关系,投射散斑的目的是增强被测物体表面的特征,以便通过数字散斑相关技术进行同名点搜索。

寻找同名点过程一般是先固定左相机图像中的一个点M,如图3所示,以其为中心选取大小为(2w_m+1)×(2w_m+1)的图像区域,然后在右相机图像中滑动等大窗口区域进行相关计算,直到相关系数达到最大。一般计算相关系数多采用零均值归一化互相关(ZNCC)模型^[12],表示为

ω=∑u=-wmwm∑v=-wmwm[IL(uL,vL)-I-L][IR(uR,vR)-I-R]∑u=-wmwm∑v=-wmwm[IL(uL,vL)-I-L]2∑u=-wmwm∑v=-wmwm[IR(uR,vR)-I-R]2,(2)

图 3. 同名点搜索示意图。(a)左图;(b)右图

Fig. 3. Sketch map of homonymous point search. (a) Left image; (b) right image

下载图片 查看所有图片

式中ω为相关系数,w_m为半窗口大小,I^X(u^X,v^X)表示X(左或右)相机像素坐标为(u^X,v^X)的灰度值信息, I-X为X相机所选窗口区域内的均值,且满足:

I-X=12wm+1)2∑u=-wmwm∑v=-wmwmIX(uX,vX)。(3)

由于在右相机整个图像上进行搜索极为耗时,因此采用极线约束,将二维搜索简化为一维搜索,显著减少搜索时间。三维测量系统应具有一个有限的测量空间,否则相机、投影装置会因离焦而引入显著误差,因此根据测量空间进行视差约束可以进一步缩小搜索范围。根据同名点灰度一致性,进行中心灰度约束可更进一步减小搜索范围^[17]。本文将采用上述约束条件来提高同名点搜索速度。

2.3 亚像素搜索方法

上述对应关系是建立在整像素基础上的。为了获取高精度三维重建效果,还需要建立起亚像素对应关系。常用亚像素同名点搜索方法包括灰度梯度法和牛顿-拉弗逊迭代法^[19]。其中灰度梯度法速度快,但精度较低;牛顿-拉弗逊迭代法一般采用双三次线性插值,精度高,但耗时较多。本文将采用重建精度更高的牛顿-拉弗逊迭代方法。首先,根据二阶视差模型,建立左右同名点像素坐标之间的变换关系:

uR=uL+ud+∂ud∂uΔu+∂ud∂vΔv+12∂2ud∂u2(Δu)2+12∂2ud∂v2(Δu)2+12∂2ud∂u∂vΔuΔvvR=vL+vd+∂vd∂uΔu+∂vd∂vΔv+12∂2vd∂u2(Δu)2+12∂2vd∂v2(Δu)2+12∂2vd∂u∂vΔuΔv,(4)

式中(u^R,v^R)为左图像上像素坐标点(u^L,v^L)在右图像上的对应点,Δu和Δv为左相机图像中相关窗口内其他像素点与中心像素之间的差值,u_d和v_d为零阶视差,∂u_d/∂u、∂u_d/∂v、∂v_d/∂u和∂v_d/∂v表示一阶视差,∂²u_d/∂u²、∂²u_d/∂v²、∂²u_d/∂u∂v、∂²v_d/∂u²、∂²v_d/∂v²和∂²v_d/∂u∂v表示二阶视差。定义变量s满足:

s=ud,vd,∂ud∂u,∂ud∂v,∂vd∂u,∂vd∂v,∂2ud∂u2,∂2ud∂v2,∂2ud∂u∂v,∂2vd∂u2,∂2vd∂v2,∂2vd∂u∂v。(5)

亚像素同名点的搜索即转化为寻找合适的s使得左右图像所选窗口相关系数达到最大。根据牛顿-拉弗逊迭代法,第k次迭代应满足:

sk=sk-1-∇ω(s)∇∇ω(s)。(6)

其中,

∇(ω)=∑u=-wmwm∑v=-wmwmIL(uL,vL)-I-L∑u=-wmwm∑v=-wmwm[IL(uL,vL)-I-L]2-IR(uR,vR)-I-R∑u=-wmwm∑v=-wmwm[IR(uR,vR)-I-R]2·1∑u=-wmwm∑v=-wmwm[IR(uR,vR)-I-R]2·∂IR(uR,vR)∂sii=1,2,…,ns,(7)

∇∇(ω)=1∑u=-wmwm∑v=-wmwm[IR(uR,vR)-I-R]2∑u=-wmwm∑v=-wmwm∂IR(uR,vR)∂si·∂IR(uR,vR)∂sj,(8)

式中ns为此变量s的个数,s₀为初值,一般将整像素相关计算得到相关系数最大时的位置作为初值。

3 散斑相关特性分析

3.1 相关系数计算

在上述二维图像中进行数字散斑相关计算时,虽然相关窗口是二维的,(2)式的相关系数计算也为二维表达,但由于计算过程中要求对应像素位置对应进行计算,因此(2)式最终等效为一维信号相关计算,且其本质上即为一维皮尔逊相关计算。分别将上述二维图像窗口定义转换成一维信号f_L和f_R,σ为标准差,则其皮尔逊相关计算公式可以表示为

ω=cov(fL,fR)σLσR=∑K=1N(fLK-f-L)(fRK-f-R)∑K=1N(fLK-f-L)2∑K=1N(f-RK-fR)2。(9)

理想情况下有f_L=f_R,但考虑到相机采集误差及视角变化,记f_L=f_R+f_δ。其中f_δ为相机采集和视角变化产生的信号差异。当f_L和f_R两个信号满足正相关时,考虑到f_δ具有随机性,忽略f_L和f_δ协方差影响,(9)式可以近似为

ω=E[(fL-f-L)·(fR-f-R)]E(fL-f-L)2·E(fR-f-R)2=E(fL-f-L)2+cov(fL,fδ)E(fL-f-L)4+E(fL-f-L)2·[E(fδ-f-δ)2+2cov(fL,fδ)]≈σL2σL4+σL2σδ2。(10)

显然,当f_δ不变时,σ_L越大,ω越趋近于1,即信号f_L和f_R相关度越高。σ的实际物理含义为所选相关窗口区域内灰度的标准差,即各个像素位置灰度值远离灰度均值的离散程度。相关窗口区域内,根据均匀散斑随机性,均值应在灰度中值附近。一般情况下,8灰阶投影装置的灰度变化范围为0~255,因此当设计的数字散斑图案只有0和255两个取值时,σ才会达到最大。因此,数字散斑设计成二值散斑时能够获得更高的相关系数,能更有效地减少相机采集等误差对相关系数的影响。

3.2 亚像素插值精度分析

如图4所示,在进行亚像素插值时,显然f₂(x)能得到更高的亚像素精度^[20]。因此,为获取高精度亚像素对应关系,在设计散斑图案时需考虑相关系数对散斑信息的敏感度。

图 4. 插值精度对比

Fig. 4. Comparison of interpolation accuracy

下载图片 查看所有图片

(10)式中,相关系数阈值一般选择不低于0.7,此时σ_δ≈σ_L。当进行亚像素插值时,右图像有效区域相对于整像素区域会产生轻微偏移,定义此时左右图像窗口相关区域信号满足:

fL=fR+fδ+fb,(11)

式中f_b为由窗口产生亚像素偏移带来的信号差异,对于随机散斑图案,f_b也具有随机性,此时f_L和f_R依然满足正相关,令f_δ+b=f_δ+f_b,当f_δ

不变,且取相关系数为0.7时,即σ_δ≈σ_L,可近似得:

ω≈σL2σL4+σL2σδ+b2≈σL22σL4+σL2σb2。(12)

由于f_b是f_R进行亚像素偏移产生的信号差异,根据图4可知,当像素坐标偏差量Δx不变时,Δω越大,插值精度越高。即只有当f_b越大时,ω越小,此时Δω越大。如图5所示为两种散斑投影情况下,针对左图像中心像素坐标,计算右图像同一水平线上(已经过极线校正)各像素相关系数,如图5(b)所示,其中相关窗口大小为31 pixel×31 pixel。在最大相关系数处,二值散斑投影时ω变化更敏感,亚像素定位精度会更高。

图 5. 二值散斑与灰度散斑投影下相关系数计算结果。(a)左右图片;(b)不同位置的相关系数

Fig. 5. Correlation coefficients under binary and 8 grayscale speckle projection. (a) Left and right images; (b) correlation coefficients at different positions

下载图片 查看所有图片

4 结果与讨论

图 6. 实验装置图

Fig. 6. Experimental apparatus

下载图片 查看所有图片

通过上述理论分析,相比灰度散斑,二值散斑三维重建能够获得更高的精度,因此本文将随机二值散斑和随机灰度散斑作为投影图案分别进行三维重建。实验装置如图6所示,相机型号为MER-231-41U3M,分辨率为1024 pixel×1280 pixel,投影仪分辨率为1280 pixel×800 pixel。被测物体为陶瓷标准球和平面陶瓷板。

为分析散斑颗粒大小对重建精度的影响,设计散斑颗粒大小分别为1 pixel×1 pixel、2 pixel×2 pixel、3 pixel×3 pixel直至9 pixel×9 pixel共9组。其中1 pixel×1 pixel灰度散斑直接随机产生,灰度变化范围为0~255,后续尺寸颗粒散斑直接在1 pixel×1 pixel散斑的基础上进行像素扩展得到,图7所示为不同颗粒散斑部分区域示意图。二值散斑由对应的灰度散斑直接二值化得到。

4.1 平面陶瓷板三维重建

实验所采用的陶瓷板平面度低于10 μm,如图8所示,选取中心部分区域进行三维重建,并进行平面拟合。相关窗口分别选为3 pixel×3 pixel、5 pixel×5 pixel、7 pixel×7 pixel直至31 pixel×31 pixel,共15组。结合散斑颗粒大小9组,共得到135个重建平面,分别计算其拟合残差标准差,结果如图9和10所示。

由图9和图10的重建结果可知,当相关窗口尺寸与散斑颗粒尺寸的比值较小时,平面拟合的误差较大,原因在于这种情况下相关窗口内散斑多样性减少(随机性降低),在搜索同名点时更容易出现错误的同名点对,导致误差增大。此外,由于二值散斑

图 7. 不同尺寸颗粒的散斑

Fig. 7. Speckles of different sizes

下载图片 查看所有图片

图 8. 陶瓷板所选区域重建效果

Fig. 8. Regional reconstruction of the ceramic plate

下载图片 查看所有图片

图 9. 平面拟合残差标准差分布

Fig. 9. Standard deviation distribution of plane fitting residuals

下载图片 查看所有图片

图 10. 平面拟合残差标准差从小到大排列

Fig. 10. Standard deviation of the plane fitting residuals sorted from small to large

下载图片 查看所有图片

只有0和255两个灰度值,而灰度散斑具有256个灰度值,因此在使用灰度约束^[17]时,即先判断中心像素灰度值之间的差异是否在一定阈值内,否则跳过该点,二值散斑跳过的点明显少于灰度散斑,也更容易产生错误的同名点对,因此误差会更显著。而随着相关窗口的增大和散斑颗粒尺寸的减小,错误同名点对会减少,平面拟合残差越来越小,即平面的重建精度越来越高,标准差最小达到0.0155 mm,此时散斑颗粒大小为1 pixel×1 pixel,相关窗口为31 pixel×31 pixel。对平面的拟合,在颗粒较小时,二值散斑能取得更高的精度。

4.2 标准球三维重建

陶瓷标准球半径为19.0469 mm,采用图6装置进行三维重建,和平面陶瓷板一样,根据相关窗口和散斑颗粒大小共采集135组数据。分别对每组数据进行球面拟合,获得其半径,同时获得的球面残差标准差如图11所示。

图 11. 球面拟合残差标准差分布

Fig. 11. Standard deviation distribution of spherical fitting residuals

下载图片 查看所有图片

由于球体边缘梯度较大,在利用(2)式进行相关计算时,左右相机视角变换容易引入显著误差,最终导致边缘点误差较大,因此图11中两种方法重建精度相当且均较低。本文对球面数据进行粗大误差剔除,其原理是通过计算球面各点到拟合球面的距离,超过设定阈值(本文为0.2 mm)则剔除,利用剩余的数据再进行球面拟合,以获得高精度的拟合效果。图12为相关窗口为11 pixel×11 pixel,散斑尺寸为2 pixel×2 pixel,二值散斑三维重建时,剔除粗大误差前后球面拟合残差数据。拟合的球体半径由原来的19.2284 mm减小为19.0906 mm,其残差标准差由0.1018 mm减小为0.0456 mm。

图 12. 剔除粗大误差前后残差结果

Fig. 12. Residuals before and after eliminating the gross error

下载图片 查看所有图片

图 13. 滤波后球面残差标准差分布

Fig. 13. Standard deviation distribution of spherical fitting residuals after filtering

下载图片 查看所有图片

图 14. 球面拟合残差标准差从小到大排列

Fig. 14. Standard deviation of spherical fitting residuals sorted from small to large

下载图片 查看所有图片

图 15. 球面直径拟合结果

Fig. 15. Fitting result of spherical diameter

下载图片 查看所有图片

图13为利用上述方法滤波后,进行球面拟合的残差标准差分布。与平面重建标准差分布类似,在散斑颗粒较小时,拟合残差会更小。不同的是,在相关窗口过小或过大时,拟合残差标准均较大。在相关窗口为13 pixel×13 pixel,散斑尺寸为2 pixel×2 pixel时,利用二值散斑重建获得的标准差最小,为0.0443 mm。且在该参数取值附近,二值散斑重建效果整体优于灰度散斑。图14为将残差分布从小到大排列,结果显示二值散斑拟合效果更好。图15为二值和灰度散斑滤波前后各组数据拟合的球体半径,可以看到滤波后精度显著提升。在散斑颗粒较小、相关窗口偏小的情况下,二值散斑拟合标准差和拟合半径精度均优于灰度散斑。

通过上述分析,依据图6所示的系统装置,本文选取散斑颗粒尺寸为1 pixel×1 pixel,相关窗口为11 pixel×11 pixel进行二值散斑三维重建。图16所示为一狐狸面具的重建效果,相关系数阈值为0.7。虽然在梯度变化较大的区域有一部分数据丢失,但在梯度变化平缓区域利用单幅二值散斑能够取得较好的重建效果。

图 16. 单幅二值散斑狐狸面具重建效果

Fig. 16. Reconstruction of the fox mask based on a single binary speckle

下载图片 查看所有图片

5 结论

重点分析了基于数字散斑的三维重建方法,包括系统模型、相关度计算以及亚像素同名点搜索方法。为进一步提高三维重建精度,围绕散斑特性,在相关系数计算和亚像素插值精度两方面具体分析比较了二值散斑和灰度散斑的重建效果。通过在不同相关窗口及不同散斑颗粒尺寸条件下,对平面陶瓷板和陶瓷标准球的三维重建对比实验,证明了二值散斑能获得更高的重建精度。针对本文系统,根据实验结果,散斑颗粒为1~2 pixel,相关窗口为9~11 pixel时能获得较优的重建效果,可为基于数字散斑相关的三维重建系统设计提供参考。