隐形结构光三维成像动态背景光干扰抑制技术

毛奥; 孙建锋; 卢智勇; 周煜; 许倩; 劳陈哲; 贺红雨; 许蒙蒙

doi:doi:10.3788/AOS201939.0711004

光学学报, 2019, 39 (7): 0711004, 网络出版: 2019-07-16

隐形结构光三维成像动态背景光干扰抑制技术下载： 925次

Dynamic Background Light Interference Suppression Technology Based on Invisible Structured Light Three-dimensional Imaging

论文大纲

毛奥 ^1,2孙建锋 ^1,*卢智勇 ^1,**周煜 ^1,***许倩 ¹劳陈哲 ¹贺红雨 ¹许蒙蒙 ¹

作者单位

¹ 中国科学院上海光学精密机械研究所空间激光信息传输与探测技术重点实验室, 上海 201800

² 中国科学院大学材料与光电研究中心, 北京 100049

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

结构光照明成像在近距离高分辨率物体三维测量方面具有重要应用。在传统结构光照明成像的基础上,提出了隐形结构光三维成像动态背景光干扰抑制技术,对实际目标进行了三维轮廓获取,并对动态背景光的抗干扰能力进行了详细的分析和验证。基于激光干涉原理产生的结构光,投射两束正交偏振光束到物体表面并不产生干涉条纹,采用同步相移探测技术实现结构光条纹的探测和再现。采用同步相移探测技术,可同时获得4步相移条纹图像,有效降低了背景光的干扰,提升了动态三维成像的能力。理论研究了隐形结构光的成像原理及动态背景光抑制机理,搭建了实验验证装置,获得了动态背景光干扰下实际目标的三维重建图像,实验结果与理论分析吻合。

Abstract

Structured light illumination imaging has important applications in three-dimensional(3D) measurement of close-range high-resolution objects. Based on traditional structured light illumination imaging, a dynamic background light interference suppression technology based on invisible structured light three-dimensional imaging is proposed, a 3D contour of an actual target is acquired, and the anti-interference ability of dynamic background light is analyzed and studied in detail. The generation of structured light is based on the principle of laser interference. The emitting side projects two orthogonally polarized beams, and no interference fringes are generated on the surface of the object. The receiver uses synchronous phase shifting technology to achieve the detection and reconstruction of the structured light stripe. Based on the synchronous phase shifting technology, a four-step phase shifting fringe image is obtained simultaneously, the background light interference can be effectively reduced, and the dynamic 3D imaging capability is improved. In this paper, we theoretically analyze the principle of invisible structured light imaging and the mechanism of dynamic background light suppression, establish an experimental verification device, and obtain a 3D reconstructed image of the actual target under dynamic background light interference. The experimental results are in agreement with the theoretical analysis results.

1 引言

结构光三维测量计算广泛应用于三维传感、机械工程、智能机器人控制、机器视觉、工业监控以及显微镜等诸多领域^[1-4],大量的学者对其进行了详细深入的研究,并提出了许多不同的三维形状测量技术^[5-9]。最早出现的结构光三维测量方法是叠栅轮廓术(MT)^[10],随后出现了傅里叶变换轮廓术(FTP)^[11-12]、相位相移测量轮廓术(PMP)^[13]、调制度测量轮廓术(MMP)^[14]等。PMP因其高精度、非接触、利于计算机高速处理以及不受物体表面反射率的影响等特性获得了广泛的关注,但是仍存在诸多不足,例如:该方法需要发射多幅相移图,花费时间长,速度受限,易受振动和动态背景光的影响。为了提高成像速度,Chen等^[15]提出了一种快速的相移条纹同步投影物体三维表面测量的方法,该方法可在同一时刻解出具有π/2相移的4幅相移条纹图,但文中并未对背景光干扰的影响进行分析和验证。

本文提出了隐形结构光三维成像动态背景光干扰抑制技术,可在同一时间内获取4步相移条纹图,解出物体精确的三维轮廓图。同时引入了参数P( $\hat{M}$ )作为描述背景光干扰抑制的指标,验证了动态背景光的干扰抑制能力,其中 $\hat{M}$ 为测量目标物体的穆勒矩阵。实验中通过频域滤波增强条纹对比度,并采用了一种改进的旋滤波方法进行条纹去噪,通过枝切法解包裹以及装置简易标定算法的解算后,在有动态背景光和无动态背景光干扰下均取得了较为精确的物体三维轮廓成像结果。

2 基本原理

2.1 实验装置及理论分析

图1为正交隐形结构光发射装置以及接收装置俯视图。激光器发射波长为532 nm的线偏振光,功率为100 mW。接收相机(Polarview 4D偏振相机,4D技术公司,美国)的像素点数为599×767。激光器出射的偏振光束首先经过扩束系统扩束,再经过1/2波片后分为具有正交偏振态的两束光(水平偏振光和垂直偏振光),调整1/2波片的轴向位置,使得两束光的强度相等。两正交偏振光经偏振分束滤波器1(PBS1)分束后再经过偏振分束滤波器2(PBS2)合束,其中PBS2处的反射镜可进行水平方向转动。实验中首先调制光路至两正交偏振光重合,旋转PBS2处反射镜,使得垂直向偏振光发生偏转,实现两束光的空间相位调制。两正交偏振光合束后经过轴向为45°的1/4波片,形成两束正交圆偏振光,再经过主透镜扩束后照射到目标平面上。通过空间相位调制,在目标平面上获得线性相位差。由于在目标平面上看不到任何结构光图案,在接收端才能探测到,故称之为隐形结构光。同时,所提装置是一种光场投射装置,在主透镜焦距不变的情况下,在光路传播方向上的较大范围内都可以从相机中得到较清晰的正弦条纹图案,即此装置降低了发射设计的复杂性。通过调整反射镜的角度,改变目标平面上两束正交偏振光之间的相位差变化率,最终得到不同周期的干涉条纹。

如图1所示,设焦点位置O₁和O₂距目标平面距离均为z,O₁和O₂在x轴方向上有相对位移;且两点水平方向距离为d,d为可调量。主透镜焦平面为X₀-Y₀平面,目标平面为X-Y平面,Z₀轴与Z轴重合,为简化运算,设点O₁位于X₀-Y₀平面的原点处。两点在焦平面X₀-Y₀平面上的坐标可分别表示为O₁(0,0,0)和O₂(-d,0,0)。从O₁和O₂点发散的球面波在目标平面上的复振幅分布可表示为

\begin{array}{l} U_{1} (x, y) = \frac{a_{0}}{z} \exp (j kz) \exp [j \frac{k}{2 z} (x^{2} + y^{2})], (1) \\ U_{2} (x, y) = \frac{a_{0}}{z} \exp (j kz) \exp \{j \frac{k}{2 z} [{(x + d)}^{2} + y^{2}]\}, (2) \end{array}

式中:k为波数;a₀表示离开点光源单位距离处的振幅。两正交偏振光在目标平面上的光场相位差满足

Δ φ (x, y) = \frac{k}{2 z} (2 xd + d^{2}) 。 (3)

(3)式表明两正交偏振光在目标平面满足线性相位差。将分析求得的两光场复振幅分布式结合起来,可用琼斯矩阵E来表示目标平面处的光场为

E = [\begin{array}{l} U_{1} (x, y) \\ U_{2} (x, y) \end{array}] = U_{1} (x, y) [\begin{array}{l} 1 \\ \exp [jΔ φ (x, y)] \end{array}] 。 (4)

光场经过1/4波片,并经物体反射后,在相机像平面上进行并行相移处理,如图2接收的同步相移模型所示。偏振相机成像焦平面上每一个像素位置处有偏振方向分别为0°、45°、90°和135°的4个偏振片,得到的4路光场表示为

\begin{array}{l} E_{0} = \frac{1}{\sqrt[]{2}} [\begin{array}{l} 1 & 0 \\ 0 & 0 \end{array}] [\begin{array}{l} 1 & - j \\ - j & 1 \end{array}] E, (5) \\ E_{45} = \frac{1}{2 \sqrt[]{2}} [\begin{array}{l} 1 & 1 \\ 1 & 1 \end{array}] [\begin{array}{l} 1 & - j \\ - j & 1 \end{array}] E, (6) \\ E_{90} = \frac{1}{\sqrt[]{2}} [\begin{array}{l} 0 & 0 \\ 0 & 1 \end{array}] [\begin{array}{l} 1 & - j \\ - j & 1 \end{array}] E, (7) \\ E_{135} = \frac{1}{2 \sqrt[]{2}} [\begin{array}{l} 1 & - 1 \\ - 1 & 1 \end{array}] [\begin{array}{l} 1 & - j \\ - j & 1 \end{array}] E 。 (8) \end{array}

不考虑两正交偏振光经不同材料物体反射后偏振态的变化(即假设反射率相同)。相机接收的是光场强度,成像放大率为M,选择相机放置位置使其成正像。经推导最终得到相机CCD光敏面上相移分别为0°、90°、180°和270°的正弦条纹表达式为

\begin{array}{l} I_{0} (x, y) = \frac{a_{0}^{2}}{z^{2}} [1 + \sin (\frac{kxd}{Mz} + \frac{k d^{2}}{2 z})], (9) \\ I_{90} (x, y) = \frac{a_{0}^{2}}{z^{2}} [1 + \cos (\frac{kxd}{Mz} + \frac{k d^{2}}{2 z})], (10) \\ I_{180} (x, y) = \frac{a_{0}^{2}}{z^{2}} [1 - \sin (\frac{kxd}{Mz} + \frac{k d^{2}}{2 z})], (11) \\ I_{270} (x, y) = \frac{a_{0}^{2}}{z^{2}} [1 - \cos (\frac{kxd}{Mz} + \frac{k d^{2}}{2 z})] 。 (12) \end{array}

获取条纹的周期与z和d均有关。根据每个位置处4步相移正弦条纹的光强分布,计算得到该位置处的实际相位值为

ϕ (x, y) = \arctan [\frac{I_{0} (x, y) - I_{180} (x, y)}{I_{90} (x, y) - I_{270} (x, y)}], (13)

得到的相位为取值在[-π,π]范围内的包裹相位,后续还要进行解包裹处理,得到目标平面上的连续相位,并通过简易系统标定得到物体轮廓像。

图 1. 正交隐形结构光发射装置以及接收装置俯视图

Fig. 1. Launching and receiving devices of orthogonally invisible structured light

下载图片查看所有图片

图 2. 接收系统的同步相移模型

Fig. 2. Synchronous phase-shifting model of receiving system

下载图片查看所有图片

当目标平面上存在动态背景光的干扰时,背景光强分布经相机前端光学镜头成像在偏振相机CCD成像光敏面上。首先不考虑目标平面物体对背景光的偏振作用,背景光经目标平面反射后随时间t变化的光强分布可设为g(x,y,t),接收光学系统成像放大率为M,则入射相机光敏面动态背景光强度分布为

A (x, y, t) = g (\frac{x}{M}, \frac{y}{M}, t) 。 (14)

之前的条纹图像再加上此动态背景光入射至相机成像焦平面上的偏振片,最终在CCD光敏面上获得的不同时刻4幅总光强分布图,可表示为

\begin{array}{l} I_{0} (x, y, t) = \frac{a_{0}^{2}}{z^{2}} [1 + \sin (\frac{kxd}{Mz} + \frac{k d^{2}}{2 z})] + \frac{1}{2} A (x, y, t), (15) \\ I_{90} (x, y, t) = \frac{a_{0}^{2}}{z^{2}} [1 + \cos (\frac{kxd}{Mz} + \frac{k d^{2}}{2 z})] + \frac{1}{2} A (x, y, t), (16) \\ I_{180} (x, y, t) = \frac{a_{0}^{2}}{z^{2}} [1 - \sin (\frac{kxd}{Mz} + \frac{k d^{2}}{2 z})] + \frac{1}{2} A (x, y, t), (17) \\ I_{270} (x, y, t) = \frac{a_{0}^{2}}{z^{2}} [1 - \cos (\frac{kxd}{Mz} + \frac{k d^{2}}{2 z})] + \frac{1}{2} A (x, y, t) 。 (18) \end{array}

在不考虑目标平面物体对背景光的偏振作用时,通过(15)~(18)式计算得到的实际相位值与(13)式是相同的,此时动态背景光的影响可被完全消除。

下面考虑目标平面物体对背景光具有偏振作用时的情况。自然背景光经过目标平面不同物体反射后会出现不同程度的偏振态,此时反射的背景光转化为部分偏振光,可以使用斯托克斯矢量和穆勒矩阵来描述其后续传播的状态。

穆勒矩阵可以描述光滑表面反射和粗糙表面散射的偏振特性,也可以描述复杂介质的偏振状态。穆勒矩阵的16个元素中,m₀₀体现出目标对入射光的散射和反射能力;m₁₀、m₂₀和m₃₀体现出目标对入射非偏振光的偏振能力。通常,为计算简便,可对穆勒矩阵进行归一化处理,经过归一化后,除了光强元素m₀₀为1,其余元素都在-1和1之间取值。目标平面物体归一化后的穆勒矩阵可表示为

\hat{M} = \frac{M}{m_{00}} = [\begin{array}{l} 1 & \frac{m_{01}}{m_{00}} & \frac{m_{02}}{m_{00}} & \frac{m_{03}}{m_{00}} \\ \frac{m_{10}}{m_{00}} & \frac{m_{11}}{m_{00}} & \frac{m_{12}}{m_{00}} & \frac{m_{13}}{m_{00}} \\ \frac{m_{20}}{m_{00}} & \frac{m_{21}}{m_{00}} & \frac{m_{22}}{m_{00}} & \frac{m_{23}}{m_{00}} \\ \frac{m_{30}}{m_{00}} & \frac{m_{31}}{m_{00}} & \frac{m_{32}}{m_{00}} & \frac{m_{33}}{m_{00}} \end{array}] 。 (19)

设入射目标平面动态背景光随时间变化的光强分布为g(x,y,t),光经平面物体反射后进入偏振相机,分别通过相机光敏面上每一个像素位置处偏振方向为0°、45°、90°和135°的偏振片。接收光学系统成像放大率为M,A(x,y,t)=g(x/M,y/M,t),计算得到相机光敏面上每一像素位置处获取的4路光场的斯托克斯矢量表示为

\begin{array}{l} S_{0} = \frac{1}{2} [\begin{array}{l} 1 & 1 & 0 & 0 \\ 1 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{array}] [\begin{array}{l} 1 & \frac{m_{01}}{m_{00}} & \frac{m_{02}}{m_{00}} & \frac{m_{03}}{m_{00}} \\ \frac{m_{10}}{m_{00}} & \frac{m_{11}}{m_{00}} & \frac{m_{12}}{m_{00}} & \frac{m_{13}}{m_{00}} \\ \frac{m_{20}}{m_{00}} & \frac{m_{21}}{m_{00}} & \frac{m_{22}}{m_{00}} & \frac{m_{23}}{m_{00}} \\ \frac{m_{30}}{m_{00}} & \frac{m_{31}}{m_{00}} & \frac{m_{32}}{m_{00}} & \frac{m_{33}}{m_{00}} \end{array}] [\begin{array}{l} A (x, y, t) \\ 0 \\ 0 \\ 0 \end{array}], (20) \\ S_{45} = \frac{1}{2} [\begin{array}{l} 1 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ 1 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \end{array}] [\begin{array}{l} 1 & \frac{m_{01}}{m_{00}} & \frac{m_{02}}{m_{00}} & \frac{m_{03}}{m_{00}} \\ \frac{m_{10}}{m_{00}} & \frac{m_{11}}{m_{00}} & \frac{m_{12}}{m_{00}} & \frac{m_{13}}{m_{00}} \\ \frac{m_{20}}{m_{00}} & \frac{m_{21}}{m_{00}} & \frac{m_{22}}{m_{00}} & \frac{m_{23}}{m_{00}} \\ \frac{m_{30}}{m_{00}} & \frac{m_{31}}{m_{00}} & \frac{m_{32}}{m_{00}} & \frac{m_{33}}{m_{00}} \end{array}] [\begin{array}{l} A (x, y, t) \\ 0 \\ 0 \\ 0 \end{array}], (21) \\ S_{90} = \frac{1}{2} [\begin{array}{l} 1 & - 1 & 0 & 0 \\ - 1 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{array}] [\begin{array}{l} 1 & \frac{m_{01}}{m_{00}} & \frac{m_{02}}{m_{00}} & \frac{m_{03}}{m_{00}} \\ \frac{m_{10}}{m_{00}} & \frac{m_{11}}{m_{00}} & \frac{m_{12}}{m_{00}} & \frac{m_{13}}{m_{00}} \\ \frac{m_{20}}{m_{00}} & \frac{m_{21}}{m_{00}} & \frac{m_{22}}{m_{00}} & \frac{m_{23}}{m_{00}} \\ \frac{m_{30}}{m_{00}} & \frac{m_{31}}{m_{00}} & \frac{m_{32}}{m_{00}} & \frac{m_{33}}{m_{00}} \end{array}] [\begin{array}{l} A (x, y, t) \\ 0 \\ 0 \\ 0 \end{array}], (22) \\ S_{135} = \frac{1}{2} [\begin{array}{l} 1 & 0 & - 1 & 0 \\ 0 & 0 & 0 & 0 \\ - 1 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 \end{array}] [\begin{array}{l} 1 & \frac{m_{01}}{m_{00}} & \frac{m_{02}}{m_{00}} & \frac{m_{03}}{m_{00}} \\ \frac{m_{10}}{m_{00}} & \frac{m_{11}}{m_{00}} & \frac{m_{12}}{m_{00}} & \frac{m_{13}}{m_{00}} \\ \frac{m_{20}}{m_{00}} & \frac{m_{21}}{m_{00}} & \frac{m_{22}}{m_{00}} & \frac{m_{23}}{m_{00}} \\ \frac{m_{30}}{m_{00}} & \frac{m_{31}}{m_{00}} & \frac{m_{32}}{m_{00}} & \frac{m_{33}}{m_{00}} \end{array}] [\begin{array}{l} A (x, y, t) \\ 0 \\ 0 \\ 0 \end{array}] 。 (23) \end{array}

由此得到不同时刻相机光敏面获取的4路动态背景光像光场,加上条纹图像后,获得的4幅总光强分布图可表示为

\begin{array}{l} I_{0} (x, y, t) = \frac{a_{0}^{2}}{z^{2}} [1 + \sin (\frac{kxd}{Mz} + \frac{k d^{2}}{2 z})] + \frac{A (x, y, t)}{2} (1 + \frac{m_{10}}{m_{00}}), (24) \\ I_{90} (x, y, t) = \frac{a_{0}^{2}}{z^{2}} [1 + \cos (\frac{kxd}{Mz} + \frac{k d^{2}}{2 z})] + \frac{A (x, y, t)}{2} (1 + \frac{m_{20}}{m_{00}}), (25) \\ I_{180} (x, y, t) = \frac{a_{0}^{2}}{z^{2}} [1 - \sin (\frac{kxd}{Mz} + \frac{k d^{2}}{2 z})] + \frac{A (x, y, t)}{2} (1 - \frac{m_{10}}{m_{00}}), (26) \\ I_{270} (x, y, t) = \frac{a_{0}^{2}}{z^{2}} [1 - \cos (\frac{kxd}{Mz} + \frac{k d^{2}}{2 z})] + \frac{A (x, y, t)}{2} (1 - \frac{m_{20}}{m_{00}}) 。 (27) \end{array}

若按(13)式计算相位,分子与分母部分计算后会分别出现附加项A(x,y,t)m₁₀/m₀₀和A(x,y,t)m₂₀/m₀₀,两者一般不等。计算相位结果与不考虑目标平面物体对背景光的偏振作用时不同,即动态背景光对解算结果具有一定的影响。

为抑制动态背景光干扰,需要在条纹图像处理过程中,通过频域滤波滤除直流分量,增强条纹部分。首先将获取的4幅总光强分布图两两相减,得到I₀(x,y,t)-I₁₈₀(x,y,t)和I₉₀(x,y,t)-I₂₇₀(x,y,t)两幅图像,再将前者作为虚部,后者作为实部,合并在一起成为复数域图像进行统一处理。复数域图像对应频域是单边的。

接下来理论推导复数域图像的频域分布。获取的4幅总光强分布图两两相减得到的两图像表达式为

\begin{array}{l} a (x, y) = I_{0} (x, y, t) - I_{180} (x, y, t) = \frac{2 a_{0}^{2}}{z^{2}} \sin (\frac{kxd}{Mz} + \frac{k d^{2}}{2 z}) + A (x, y, t) \frac{m_{10}}{m_{00}}, (28) \\ b (x, y) = I_{90} (x, y, t) - I_{270} (x, y, t) = \frac{2 a_{0}^{2}}{z^{2}} \cos (\frac{kxd}{Mz} + \frac{k d^{2}}{2 z}) + A (x, y, t) \frac{m_{20}}{m_{00}} 。 (29) \end{array}

以a(x,y)作为虚部、b(x,y)作为实部,将两者合并后,得到复数域图像表达式为

c (x, y) = b (x, y) + j a (x, y) = \frac{2 a_{0}^{2}}{z^{2}} \exp [j (\frac{kxd}{Mz} + \frac{k d^{2}}{2 z})] + (\frac{m_{20}}{m_{00}} + j \frac{m_{10}}{m_{00}}) A (x, y, t) 。 (30)

对(30)式进行傅里叶变换,得到其频域分布表达式为

F {c (x, y)} = \frac{2 a_{0}^{2}}{z^{2}} \exp (j \frac{k d^{2}}{2 z}) δ (f_{x} - \frac{kd}{2 πMz}) + (\frac{m_{20}}{m_{00}} + j \frac{m_{10}}{m_{00}}) F {A (x, y, t)}, (31)

式中:δ(·)为脉冲函数;f_x为复数域图像经傅里叶变换后在x方向上的空间频率。可以看到,当入射相机光敏面动态背景光的频域分布与条纹的频率有一定程度的重叠时,会对后续条纹处理过程产生一定的干扰。为定量描述背景光干扰抑制的指标,可将F{A(x,y,t)}的模值定义为动态背景光抑制能力参数P( $\hat{M}$ ),其定义式及取值范围为

0 \leq P (\hat{M}) = \sqrt[]{m_{10}^{2} + m_{20}^{2}} / m_{00} \leq 1 。 (32)

当P( $\hat{M}$ )取值为0时,对应目标平面物体对背景光无偏振作用的情况,此时动态背景光干扰可完全被抑制;当P( $\hat{M}$ )不为0,且动态背景光的频域分布与条纹频率有一定程度的重叠时,后续条纹处理过程及最终解算结果将受动态背景光的干扰,且P( $\hat{M}$ )值越大,动态背景光干扰抑制能力越差。P( $\hat{M}$ )取值与目标平面物体的穆勒矩阵参数有关。

2.2 条纹处理流程

实验中利用偏振相机获取条纹图像时,由于瞬时视场角(IFOV)误差、固定模式(FPN)噪声、光子响应不均匀(PRNU)误差、各种随机噪声以及散斑噪声等影响,会存在较大噪声,故需要对得到的条纹进行去噪处理。实验中对条纹的处理过程共分3个步骤,每一步骤的执行过程均较好地保证了条纹方向的不变性,保留了条纹的细节信息,降低解算出的相位信息损失。具体步骤如下:

1) 增强条纹对比度。实验中偏振光场经物体漫反射后存在一定程度的退偏,且入射偏振相机像平面光强较弱,得到的条纹图像不清晰,故需要增强条纹对比度,以便进行后续有效的滤波。根据4幅总光强分布图获取复数域图像后,首先在其频域使用汉宁窗消除图像的零频以及其周边旁瓣,以消除图像背景光直流分量;再运用汉宁窗对条纹对应频率及其周边进行一定倍数的增强。增强倍数和汉宁窗窗口大小均可以选择,经过实验后选择出合适的参数。经过上述处理过程,条纹的对比度得到了明显的改善,如图3所示。

图 3. 频域增强前后条纹对比图。(a)频域增强前条纹图;(b)频域增强后条纹图;(c)频域增强前三维频谱图;(d)频域增强后三维频谱图

Fig. 3. Fringes contrast before and after frequency domain enhancement. (a) Fringes before frequency domain enhancement; (b) fringes after frequency domain enhancement; (c) 3D frequency spectrogram before frequency domain enhancement; (d) 3D frequency spectrogram after frequency domain enhancement

下载图片查看所有图片

2) 干涉条纹去噪。增强条纹对比度后,选择合适的方法进行条纹去噪。目前针对含噪声的条纹图,尤其是对散斑干涉条纹图去噪的方法主要可分为空域类和变换域类。在空域类方法中,常用的有中值、均值、双边滤波^[16]、旋滤波^[17]、等值线滤波^[18]以及自适应滤波^[19]等。基于对条纹去噪效果和保持条纹方向性的综合考虑,在此选择一种在囊括精确方向的模糊方向窗口内进行旋滤波的方法^[20],此方法具有保持条纹方向性的能力,较普通旋滤波法更能有效地保证像素点的条纹切线方向落在估计的方向窗口内。此法采用自适应加权均值滤波(AWMF)代替传统的中值等低通滤波,其灰度加权因子能自适应降低噪声和非条纹等值线上像素点对灰度值估计的影响,同时降低旋滤波对窗口选取的敏感度。滤波前后条纹对比图如图4所示。

图 4. 滤波前后条纹对比图。(a)滤波前条纹图;(b)滤波后条纹图

Fig. 4. Fringes contrast before and after filtering. (a) Fringes before filtering; (b) fringes after filtering

下载图片查看所有图片

3) 解包裹相位图。经过了对比度增强和去噪等处理后,得到了质量很好的条纹图,由此可得到解包裹相位图。取复数域条纹图像的虚部和实部,将实部值除以虚部值后取反正切,获取各个位置处的相位值,得到包裹相位图,再由其解包裹得到连续相位图。相位解包裹的算法分为时间相位展开和空域相位展开两大类,其中空域相位展开算法大致分为与路径无关的最小化目标函数算法和与路径有关的路径跟踪算法^[21-22]。这里选择路径跟踪法中的枝切法^[23],其在解包裹速度和精度方面均优势,且对后续系统标定的工作具有一定帮助。

2.3 系统标定

由于发射系统和接收系统均可能造成最终成像结果与实际的误差,因此在成像之前需要对系统的误差进行标定。标定方法选择的是标准平面法,即对标准平面进行图像重构,得到的表面偏离平面的值为系统误差,将此数据存储在软件里作为背景误差予以扣除。在标定过程中,计算并保存标准平面上的连续相位分布,将其作为之后固定使用的背景目标平面上的相位分布。实际成像时需要对得到的相位分布与之前预存的相位分布作差,再通过相位差与物体高度之间的关系进行图像重构。目标平面上物体各位置处高度h与对应相位差Δφ之间的关系式为

h = \frac{z}{1 + \frac{2 π p}{l Δ φ}}, (33)

式中:p为发射装置出瞳中心(即图1中的O)与接收相机入瞳中心之间的距离,要求两点之间的连线平行于目标平面;l为目标平面上两光场相位差变化2π的长度;z为图1中O₁、O₂所在焦平面距目标平面的距离。

3 实验结果及分析

3.1 无动态背景光成像实验结果

实验按照图1装置搭建光路,目标平面距发射装置的距离z=5.490 m,发射装置出瞳与接收相机入瞳的距离p=0.608 m,二者均由激光测距仪测得。扩束系统扩束倍数为20,透镜焦距为20 cm,目标平面上光斑直径大小约为50 cm。调整反射镜,改变目标平面上两光场相位差变化2π的周期长度l至合适值5 mm,相应频率即为2 line/cm。在偏振相机前放置光学镜头,实验中选择尼康公司的微距为180~300 mm的变焦镜头,光场经目标平面反射后进入相机前端光学镜头,并在偏振相机CCD成像光敏面上成像。实验中可同时接收4步相移条纹图,保证了精度和速度。成像物体选取一个加工的金属球冠(高度为1.5 cm,底面厚度为2 mm,直径为7.5 cm),经条纹采集、条纹处理和装置标定后,得到了较为精确的轮廓图。图5和图6分别为球冠实物图和同时获取的4步相移条纹图(包含0°、90°、180°和270°相移图);图7和图8分别为由(13)式计算得到的包裹相位图以及解包裹连续相位图;图9为最终解出的球冠三维重建结果。

图 5. 球冠实物图

Fig. 5. Physical map of spherical cap

下载图片查看所有图片

图 6. 同时获取的4步相移条纹图

Fig. 6. Simultaneously acquired four-step phase shifting fringe image

下载图片查看所有图片

图 7. 包裹相位图

Fig. 7. Wrapped phase image

下载图片查看所有图片

图 8. 解包裹连续相位图

Fig. 8. Unwrapped continuous phase image

下载图片查看所有图片

图 9. 球冠三维重建结果。(a)三维图;(b)三维轮廓线图

Fig. 9. 3D reconstruction result of spherical cap. (a) 3D map; (b) 3D contour map

下载图片查看所有图片

分析实验数据并解得物体轮廓图及轮廓线,球冠最高点高度的测量值为1.5801 cm,与实际值1.5 cm相比精度达到mm量级,满足了实验要求的测量精度,相对误差为5.34%。实验测得的平面相对于理想目标平面的平均高度为-0.0805 cm。实验中选择的相机曝光时间在ms量级,可以完全满足检测运动物体的需求。在数据处理方面,解出轮廓所用时间约20 s,此系统在应对实时性要求方面还有待提高。

3.2 动态背景光干扰下成像实验结果

采用普通4步相移法可在一定程度上降低静态背景光干扰的影响,但对于变化速度大于移相速度的干扰无抑制作用。由之前的理论分析得出,此方法采用空间同步移相技术,可在同一时刻获取4幅相移图像,实现对动态背景光干扰的有效抑制。

实验中运用投影仪投射变化的结构光图像,作为目标平面上的干扰动态背景光,选取成像的物体仍为之前的金属球冠。动态背景光有效消除示意图如图10所示,偏振相机在某一时刻获取的4步相移条纹图受到动态背景光影响,但两两相减后,动态背景光被大幅度消除。

将两两相减后得到的两幅图像的其中一幅作为虚部,另一幅作为实部,合并成复数域图像,在其频域进行滤波处理。经直流分量滤除、条纹部分增强后,复数域图像频域处理前后图像的改善情况如图11所示。

图 10. 动态背景光有效消除示意图。(a)动态背景光干扰下获取的4步相移条纹图;(b)图像相减后背景光消除示意图

Fig. 10. Effective elimination of dynamic background light. (a) Four-step phase shifting fringes under dynamic background light interference; (b) elimination of dynamic background light after image subtraction

下载图片查看所有图片

图 11. 复数域图像频域处理前后图像的改善情况。(a)频域处理前条纹图;(b)频域处理后条纹图;(c)频域处理前三维频谱图;(d)频域处理后三维频谱图

Fig. 11. Improvement of complex domain image before and after frequency domain processing. (a) Fringes before frequency domain processing; (b) fringes after frequency domain processing; (c) 3D frequency spectrogram before frequency domain processing; (d) 3D frequency spectrogram after frequency domain processing

下载图片查看所有图片

从图11可以看到,动态背景光的频域分布与条纹频率有一定程度的重叠。为了定量探究频域处理对动态背景光的抑制能力,实验测出了金属球冠作为目标平面物体时动态背景光的抑制能力参数P( $\hat{M}$ )。关闭隐形结构光发射装置,入射目标平面动态背景光g(x,y,t)经平面物体反射后入射至偏振相机,分别通过相机光敏面上每一个像素位置处的偏振方向为0°、45°、90°和135°的4个偏振片,最终获取的4幅光强分布图可表示为

\begin{array}{l} I_{0} (x, y, t) = \frac{A (x, y, t)}{2} (1 + \frac{m_{10}}{m_{00}}), (34) \\ I_{90} (x, y, t) = \frac{A (x, y, t)}{2} (1 + \frac{m_{20}}{m_{00}}), (35) \\ I_{180} (x, y, t) = \frac{A (x, y, t)}{2} (1 - \frac{m_{10}}{m_{00}}), (36) \\ I_{270} (x, y, t) = \frac{A (x, y, t)}{2} (1 - \frac{m_{20}}{m_{00}}), (37) \end{array}

式中:A(x,y,t)=g $(\frac{x}{M}, \frac{y}{M}, t)$ 。相机获取的4幅动态背景光光强分布图如图12所示。由 (34)~(37)式可推导出P( $\hat{M}$ )的计算表达式为

P (\hat{M}) = \frac{2 \sqrt[]{[I_{0} (x, y, t) - I_{180} {(x, y, t)]}^{2} + [I_{90} (x, y, t) - I_{270} {(x, y, t)]}^{2}}}{I_{0} (x, y, t) + I_{90} (x, y, t) + I_{180} (x, y, t) + I_{270} (x, y, t)} 。 (38)

图12为实验中获取的4幅动态背景光光强分布图,由(38)式可计算得到P( $\hat{M}$ )的值为0.2357(由每个像素点参数值取平均所得)。P( $\hat{M}$ )值不为0,且动态背景光的频域分布与条纹频率有一定程度的重叠,表明目标平面物体对背景光具有偏振作用,条纹处理过程及解算结果会受到动态背景光的干扰。P( $\hat{M}$ )值较小,解算结果受动态背景光影响较小,此时动态背景光干扰抑制能力较强。图11表明了频域处理后图像条纹质量明显增强,有效抑制了动态背景光的干扰。

取任意两个时刻获取的4步相移图,运用前面方法求解出金属球冠的轮廓, 其动态背景光环境下三维重建结果如图13所示。

图 12. 相机获取的4幅动态背景光光强分布图

Fig. 12. Dynamic background light intensity map acquired by camera

下载图片查看所有图片

图 13. 动态背景光环境下三维重建结果。(a)(b)两时刻下实物图;(c)(d)两时刻下分别得到的4步相移条纹图;(e)(f)两时刻下分别解出的三维轮廓图

Fig. 13. 3D reconstruction results in dynamic background light environment. (a)(b) Physical map in both time; (c)(d) four-step phase-shifting fringes in both time; (e)(f) 3D contour map in both time

下载图片查看所有图片

根据测得的实验数据计算球冠在两时刻下的最高点的高度值,并与实际值进行比较,计算出相对误差。金属球冠高度测量数据与实际数据比较结果如表1所示。

表 1. 金属球冠高度测量数据与实际数据比较结果

Table 1. Comparison between measured data and actual data of metal spherical cap's height

Environmental situation	Measured value h₀ /cm	Actual value h /cm	Relative error δ /%
Without dynamic background light interference	1.5801	1.5	5.34
Dynamic background light interference at time 1	1.5895	1.5	5.97
Dynamic background light interference at time 2	1.5902	1.5	6.01

查看所有表

由表1可知,存在动态背景光干扰情况下测得的球冠高度值与实际高度值之间的相对误差高于无动态背景光时的相对误差,这可能与测量误差、装置误差以及各种原因产生的随机噪声等因素有关。实验中基线长度短、探测距离远,无论是否存在动态背景光的影响,测量精度均可达mm量级,其相对误差值满足实验要求的精度范围。结果表明,所提方法具有有效抗动态背景光干扰的能力,为此装置在不同环境下的有效测量提供了理论支持。

4 结论

对隐形结构光三维成像动态背景光干扰抑制技术进行了深入的分析和验证。首先分析了该技术对动态背景光的有效抗干扰能力,引入了参数P( $\hat{M}$ )作为描述背景光干扰抑制的指标,然后进行了实验验证。结果表明,当P( $\hat{M}$ )取值为0(对应目标平面物体对背景光无偏振作用的情况),动态背景光干扰可被完全抑制;当P( $\hat{M}$ )不为0且动态背景光的频域分布与条纹的频率有一定程度的重叠时,后续条纹处理过程及最终解算结果将受到动态背景光的干扰,P( $\hat{M}$ )值越高,动态背景光干扰的抑制能力越差。P( $\hat{M}$ )的取值与目标平面物体的穆勒矩阵有关。在动态背景光下的成像实验中,P( $\hat{M}$ )的值为0.2357,获得了较为精确的物体轮廓图,验证了该方法具有动态背景光下的三维成像能力,表明隐形结构光三维成像动态背景光干扰抑制技术的可行性。

参考文献

[1] Strand T C. Optical three-dimensional sensing for machine vision[J]. Optical Engineering, 1985, 24(1): 33-40.

[2] Brown G M. Overview of three-dimensional shape measurement using optical methods[J]. Optical Engineering, 2000, 39(1): 10-22.

[3] 达飞鹏, 盖绍彦. 光栅投影三维精密测量[M]. 北京: 科学出版社, 2011.

Da FP, Gai SY. Grating projection three-dimensional precision measurement [M]. Beijing: Science Press, 2011.

[4] 张广军. 视觉测量[M]. 北京: 科学出版社, 2008.

Zhang GJ. Vision measurement[M]. Beijing: Science Press, 2008.

[5] Lei S Y, Zhang S. Flexible 3-D shape measurement using projector defocusing[J]. Optics Letters, 2009, 34(20): 3080-3082.

[6] Gong Y Z, Zhang S. Ultrafast 3-D shape measurement with an off-the-shelf DLP projector[J]. Optics Express, 2010, 18(19): 19743-19754.

[7] Berrocal E, Pettersson S G, Kristensson E. High-contrast imaging through scattering media using structured illumination and Fourier filtering[J]. Optics Letters, 2016, 41(23): 5612-5615.

[8] Yao J, Tang Y, Chen J B. Three-dimensional shape measurement with an arbitrarily arranged projection moiré system[J]. Optics Letters, 2016, 41(4): 717-720.

[9] 白景湘, 曲兴华, 冯维, 等. 双投影结构光三维测量中重叠相移光栅的分离方法[J]. 光学学报, 2018, 38(11): 1112002.

Bai J X, Qu X H, Feng W, et al. Separation method of overlapping phase-shift gratings in three-dimensional measurement of double projection structured light[J]. Acta Optica Sinica, 2018, 38(11): 1112002.

[10] Meadows D M, Johnson W O, Allen J B. Generation of surface contours by moiré patterns[J]. Applied Optics, 1970, 9(4): 942-949.

[11] Takeda M, Mutoh K. Fourier transform profilometry for the automatic measurement of 3-D object shapes[J]. Applied Optics, 1983, 22(24): 3977-3982.

[12] Su X Y, Chen W J. Fourier transform profilometry: a review[J]. Optics and Lasers in Engineering, 2001, 35(5): 263-284.

[13] Srinivasan V, Liu H C, Halioua M. Automated phase-measuring profilometry of 3-D diffuse objects[J]. Applied Optics, 1984, 23(18): 3105-3108.

[14] 苏礼坤, 苏显渝, 李万松, 等. 基于调制度测量的三维轮廓术[J]. 光学学报, 1999, 19(9): 1257-1262.

Su L K, Su X Y, Li W S, et al. 3-D profilometry based on modulation measurement[J]. Acta Optica Sinica, 1999, 19(9): 1257-1262.

[15] Chen Z Y, Wang X, Liang R G. Snapshot phase shift fringe projection 3D surface measurement[J]. Optics Express, 2015, 23(2): 667-673.

[16] Ruiz P B, Kaufmann G H. Evaluation of a scale-space filter for speckle noise reduction in electronic speckle pattern interferometry[J]. Optical Engineering, 1998, 37(8): 2395-2401.

[17] Yu Q F, Liu X L, Andresen K. New spin filters for interferometric fringe patterns and grating patterns[J]. Applied Optics, 1994, 33(17): 3705-3711.

[18] 杨夏, 于起峰, 伏思华. 散斑条纹图的自适应窗口滤波方法[J]. 光学学报, 2007, 27(4): 625-630.

Yang X, Yu Q F, Fu S H. Adaptive window filter for electric speckle pattern interferometry fringe pattern[J]. Acta Optica Sinica, 2007, 27(4): 625-630.

[19] 蒋汉阳, 戴美玲, 苏志龙, 等. 基于散斑相位条纹方向的自适应正弦/余弦滤波[J]. 光学学报, 2017, 37(9): 0910001.

Jiang H Y, Dai M L, Su Z L, et al. An adaptive sine/cosine filtering algorithm based on speckle phase fringe orientation[J]. Acta Optica Sinica, 2017, 37(9): 0910001.

[20] 贾大功, 马彩缤, 武立强, 等. 基于改进旋滤波的电子散斑干涉图滤波方法[J]. 光学学报, 2012, 32(3): 0311001.

Jia D G, Ma C B, Wu L Q, et al. Denoising of electronic speckle interferogram based on improved spin filtering[J]. Acta Optica Sinica, 2012, 32(3): 0311001.

[21] 张亦卓, 王大勇, 赵洁, 等. 数字全息中实用相位解包裹算法研究[J]. 光学学报, 2009, 29(12): 3323-3327.

Zhang Y Z, Wang D Y, Zhao J, et al. Investigation on phase unwrapping algorithms in digital holography[J]. Acta Optica Sinica, 2009, 29(12): 3323-3327.

[22] 廖薇, 刘佐强, 王华英, 等. 三种基于路径跟踪的位相解包裹算法比较[J]. 激光杂志, 2014, 35(6): 32-34.

Liao W, Liu Z Q, Wang H Y, et al. Comparison of the three phase unwrapping algorithm based on the algorithm of path tracking[J]. Laser Journal, 2014, 35(6): 32-34.

[23] Goldstein R M, Zebker H A, Werner C L. Satellite radar interferometry: two-dimensional phase unwrapping[J]. Radio Science, 1988, 23(4): 713-720.

毛奥, 孙建锋, 卢智勇, 周煜, 许倩, 劳陈哲, 贺红雨, 许蒙蒙. 隐形结构光三维成像动态背景光干扰抑制技术[J]. 光学学报, 2019, 39(7): 0711004. Ao Mao, Jianfeng Sun, Zhiyong Lu, Yu Zhou, Qian Xu, Chenzhe Lao, Hongyu He, Mengmeng Xu. Dynamic Background Light Interference Suppression Technology Based on Invisible Structured Light Three-dimensional Imaging[J]. Acta Optica Sinica, 2019, 39(7): 0711004.

隐形结构光三维成像动态背景光干扰抑制技术下载： 925次

1 引言

2 基本原理

2.1 实验装置及理论分析

图 1. 正交隐形结构光发射装置以及接收装置俯视图

Fig. 1. Launching and receiving devices of orthogonally invisible structured light

图 2. 接收系统的同步相移模型

Fig. 2. Synchronous phase-shifting model of receiving system

2.2 条纹处理流程

图 3. 频域增强前后条纹对比图。(a)频域增强前条纹图;(b)频域增强后条纹图;(c)频域增强前三维频谱图;(d)频域增强后三维频谱图

Fig. 3. Fringes contrast before and after frequency domain enhancement. (a) Fringes before frequency domain enhancement; (b) fringes after frequency domain enhancement; (c) 3D frequency spectrogram before frequency domain enhancement; (d) 3D frequency spectrogram after frequency domain enhancement

图 4. 滤波前后条纹对比图。(a)滤波前条纹图;(b)滤波后条纹图

Fig. 4. Fringes contrast before and after filtering. (a) Fringes before filtering; (b) fringes after filtering

2.3 系统标定

3 实验结果及分析

3.1 无动态背景光成像实验结果

图 5. 球冠实物图

Fig. 5. Physical map of spherical cap

图 6. 同时获取的4步相移条纹图

Fig. 6. Simultaneously acquired four-step phase shifting fringe image

图 7. 包裹相位图

Fig. 7. Wrapped phase image

图 8. 解包裹连续相位图

Fig. 8. Unwrapped continuous phase image

图 9. 球冠三维重建结果。(a)三维图;(b)三维轮廓线图

Fig. 9. 3D reconstruction result of spherical cap. (a) 3D map; (b) 3D contour map

3.2 动态背景光干扰下成像实验结果

图 10. 动态背景光有效消除示意图。(a)动态背景光干扰下获取的4步相移条纹图;(b)图像相减后背景光消除示意图

Fig. 10. Effective elimination of dynamic background light. (a) Four-step phase shifting fringes under dynamic background light interference; (b) elimination of dynamic background light after image subtraction

图 11. 复数域图像频域处理前后图像的改善情况。(a)频域处理前条纹图;(b)频域处理后条纹图;(c)频域处理前三维频谱图;(d)频域处理后三维频谱图

图 12. 相机获取的4幅动态背景光光强分布图

Fig. 12. Dynamic background light intensity map acquired by camera

图 13. 动态背景光环境下三维重建结果。(a)(b)两时刻下实物图;(c)(d)两时刻下分别得到的4步相移条纹图;(e)(f)两时刻下分别解出的三维轮廓图

Fig. 13. 3D reconstruction results in dynamic background light environment. (a)(b) Physical map in both time; (c)(d) four-step phase-shifting fringes in both time; (e)(f) 3D contour map in both time

表 1. 金属球冠高度测量数据与实际数据比较结果

Table 1. Comparison between measured data and actual data of metal spherical cap's height

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

隐形结构光三维成像动态背景光干扰抑制技术 下载： 925次

1 引言

2 基本原理

2.1 实验装置及理论分析

图 1. 正交隐形结构光发射装置以及接收装置俯视图

Fig. 1. Launching and receiving devices of orthogonally invisible structured light

图 2. 接收系统的同步相移模型

Fig. 2. Synchronous phase-shifting model of receiving system

2.2 条纹处理流程

图 3. 频域增强前后条纹对比图。(a)频域增强前条纹图;(b)频域增强后条纹图;(c)频域增强前三维频谱图;(d)频域增强后三维频谱图

Fig. 3. Fringes contrast before and after frequency domain enhancement. (a) Fringes before frequency domain enhancement; (b) fringes after frequency domain enhancement; (c) 3D frequency spectrogram before frequency domain enhancement; (d) 3D frequency spectrogram after frequency domain enhancement

图 4. 滤波前后条纹对比图。(a)滤波前条纹图;(b)滤波后条纹图

Fig. 4. Fringes contrast before and after filtering. (a) Fringes before filtering; (b) fringes after filtering

2.3 系统标定

3 实验结果及分析

3.1 无动态背景光成像实验结果

图 5. 球冠实物图

Fig. 5. Physical map of spherical cap

图 6. 同时获取的4步相移条纹图

Fig. 6. Simultaneously acquired four-step phase shifting fringe image

图 7. 包裹相位图

Fig. 7. Wrapped phase image

图 8. 解包裹连续相位图

Fig. 8. Unwrapped continuous phase image

图 9. 球冠三维重建结果。(a)三维图;(b)三维轮廓线图

Fig. 9. 3D reconstruction result of spherical cap. (a) 3D map; (b) 3D contour map

3.2 动态背景光干扰下成像实验结果

图 10. 动态背景光有效消除示意图。(a)动态背景光干扰下获取的4步相移条纹图;(b)图像相减后背景光消除示意图

Fig. 10. Effective elimination of dynamic background light. (a) Four-step phase shifting fringes under dynamic background light interference; (b) elimination of dynamic background light after image subtraction

图 11. 复数域图像频域处理前后图像的改善情况。(a)频域处理前条纹图;(b)频域处理后条纹图;(c)频域处理前三维频谱图;(d)频域处理后三维频谱图

图 12. 相机获取的4幅动态背景光光强分布图

Fig. 12. Dynamic background light intensity map acquired by camera

图 13. 动态背景光环境下三维重建结果。(a)(b)两时刻下实物图;(c)(d)两时刻下分别得到的4步相移条纹图;(e)(f)两时刻下分别解出的三维轮廓图

Fig. 13. 3D reconstruction results in dynamic background light environment. (a)(b) Physical map in both time; (c)(d) four-step phase-shifting fringes in both time; (e)(f) 3D contour map in both time

表 1. 金属球冠高度测量数据与实际数据比较结果

Table 1. Comparison between measured data and actual data of metal spherical cap's height

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

隐形结构光三维成像动态背景光干扰抑制技术下载： 925次