1 引言

我国是世界最大的煤炭消费国,每年消耗40多亿吨煤炭,占全球总消耗量的50%。煤炭的高效清洁利用对我国至关重要。煤的燃烧或气化是复杂的物理化学过程,受热膨胀、挥发分析出量、破碎等过程常常伴随着煤炭表面形貌的变化,对其进行测量有助于人们深入地认识煤燃烧或气化的机理。结构光投影法常用于测量漫反射物体的表面形貌,具有非接触、精度高、速度快等优点,被广泛应用于产品质量控制、生物医学等领域^[1-2]。结构光投影法的基本原理是从变形条纹中解调出与物体表面形貌相关的相位信息^[3]。根据相位的提取原理,结构光投影法分为傅里叶变换轮廓术^[4-5]、相移法^[6]等类型。常见的时间相位解包裹方法有格雷码、多频外差和多频相移法^[7]。基于多频相移原理的相位解包裹方法测量稳定性好,常被用于测量形状复杂的物体。煤块的表面反射率低^[8],相机获取的结构光条纹图的信噪比低,相比于一般的物体,煤块的结构光条纹图在相位解包裹后含有更多的无效相位点。

无效相位点是指不包含待测物体有效信息或者条纹级次发生错误的相位点。根据无效相位点形成的原因可以将相位点分为背景、阴影和其他不正常的相位点^[9]。背景和阴影区域的去除方法有数据调制度法^[10]和K均值聚类法^[11]等。其他不正常相位点的校正方法包括基于相位单调性^[10-12]、二阶导数^[13]、均方根误差^[14]和可靠度导向^[15-17]等方法。相位单调性方法往往需要进行多次重复使用,二阶导数方法容易将边界相位点和崎岖表面的相位点识别为无效相位,均方根误差方法中阈值选取比较困难。对于可靠度导向方法,可靠度判据和校正路径的选取对相位校正的速度和结果都会有很大的影响。

本文使用结构光相移法和多频相位解包裹法对煤块的形貌进行测量,针对煤块表面反射率低的特点,采用白色背景,从背景和阴影中分割出煤块的有效测量区域。针对条纹信噪比低、无效相位点多的特点,提出一种改进的相位校正算法并和几种已有的可靠度导向算法进行对比。

2 基本原理

2.1 结构光测量原理

对于N步相移法,第n幅条纹图的强度分布I_n(x,y)表达式为

In(x,y)=I'(x,y)+I″(x,y)cos[ϕ(x,y)+δn],(1)

式中:I'(x,y)为条纹的背景强度;I″(x,y)为强度调制;ϕ(x,y)为包裹相位;δ_n为相移量,且δ_n=2πn/N,n=1,2,…,N,n为条纹序数,N为条纹总数。相位ϕ(x,y)包裹在(-π,π]内,其表达式为

ϕ(x,y)=-arctan∑n=1N(Insinδn)/∑n=1N(Incosδn)。(2)

多频相位解包裹的原理^[18]是利用低频条纹来指导高频条纹的相位展开。假设低频条纹的条纹间距为T_L,绝对相位为Φ_L(x,y),高频条纹的条纹间距为T_H(T_L>T_H),包裹相位为ϕ_H(x,y),则高频条纹的级次为

k(x,y)=RoundΦL(x,y)×TL/TH-ϕH2π,(3)

式中:下标L和H分别代表低频和高频,Round表示四舍五入取整。高频条纹的绝对相位可表示为

ΦH(x,y)=ϕH(x,y)+2π×k(x,y)。(4)

使用3种不同频率的结构光条纹图,条纹间距分别为T₁、T₂和T₃(T₁<T₂<T₃)。为了兼顾测量速度和精度,T₂和T₃条纹采用3步相移,T₁条纹采用6步相移。包裹相位分别为ϕ₁、ϕ₂和ϕ₃。在测量视场内,包裹相位ϕ₃等于其绝对相位Φ₃。使用Φ₃对ϕ₂进行相位解包裹得到绝对相位Φ₂,使用Φ₂对ϕ₁进行相位解包裹得到Φ₁。Φ₁代表煤块的表面形貌信息。

2.2 煤块区域的分割提取

煤块表面的反射率低,故使用白色背景来增大煤块与背景的灰度差别。使用迭代阈值法对T₁条纹的背景强度I'(x,y)进行阈值分割,初始迭代阈值选取I'的平均灰度强度,即

I'=1N∑n=1NIn。(5)

数据调制度γ(x,y)反映相位点的可靠度,表达式为

γ(x,y)=I″(x,y)/I'(x,y)。(6)

阴影区域的γ(x,y)很低。使用γ(x,y)去除阴影区域,选取其中最大连通域作为煤块的有效测量区域,掩模图用M_bi表示,M_bi=1代表煤块区域,M_bi=0代表背景和阴影区域。

2.3 无效相位点的校正

相机拍摄到的煤块条纹图的信噪比较低,煤块测量区域内的Φ_L(x,y)和ϕ_H均存在相位误差,T_L/T_H的比值会将Φ_L(x,y)的误差进一步放大。当(3)式中Φ_L(x,y)×T_L/T_H-ϕ_H误差的绝对值大于等于π时,得到的条纹级次将发生错误。

定义解包裹相位Φ(此处Φ指代Φ₁,下同)与其邻域相位点的最大绝对相位差为相位的可靠度判据,表达式为

Q(i,j)=max[Δx(i,j),Δy(i,j)],(7)

式中:i和j分别代表行和列序号;Δ_x(i,j)和Δ_y(i,j)分别为Φ(i,j)在x和y方向的最大偏导数的绝对值,表达式为

Δx(i,j)=max[Φ(i,j)-Φ(i,j-1),Φ(i,j)-Φ(i,j+1)]Δy(i,j)=max[Φ(i,j)-Φ(i-1,j),Φ(i,j)-Φ(i+1,j)],(8)

且M_bi(i,j)=1。Q(i,j)的值越大,则Φ(i,j)的可靠度越低。设立阈值Q_th,根据可靠度将煤块有效测量区域内的所有相位点分成两类:当Q(i,j)<Q_th时,Φ(i,j)为第一类相位点;当Q(i,j)>Q_th时,Φ(i,j)为第二类相位点。由于条纹级次发生错误,有效测量区域内的无效相位点的相位与校正相位的差值为2π的整数倍,且不等于0。考虑邻域相位点的差值通常较小,阈值Q_th的值可以选取一个比2π稍小的数。

第一类相位点中包含了大部分的正常相位点和少部分的无效相位点,这是因为当多个无效相位点聚集在一个小区域内时,分布在该区域内部的无效相位点的可靠度Q有可能小于阈值Q_th,故该区域内的点会被归为第一类相位点,其外部边界上的无效相位点仍然被归为第二类相位点。优先对第一类相位点进行校正能有效避免误差进一步扩散。选取第一类相位点中可靠度较高的点为相位校正的起点,基于洪水填充算法,对单连通的第一类相位点进行校正。第一类相位点中的无效相位点因为被第二类相位点包围,故他们不会被校正到。假设起点的解包裹相位为Φ(x₀,y₀),其邻域相位为Φ(x_b,y_b),则校正后的邻域相位为

Φc(xb,yb)=Φ(xb,yb)。(9)

对于平滑表面,第二类相位点全部为无效相位点。对于表面存在不连续处(指高度变化大而导致相邻相位差大于2π)的非平滑表面,第二类相位点中还包含了少部分的有效相位点,即不连续处边界上的正常相位点会被归为第二类相位点。一般情况下,第二类相位点的数量占总数的比例较小,而且分布较为分散。将第二类相位点和部分未处理的第一类相位点放入一个队列中,遍历该队列,考察队列中元素的邻域是否存在已经校正的相位点。如果存在,则以校正的相位点为起点,根据

Φc(xb,yb)=Φ(xb,yb)-2πRoundΦ(xb,yb)-Φ(x0,y0)2π,(10)

对该元素进行校正并标记其位置,在下次遍历时跳过该元素。重复上述过程直到队列中的全部元素校正完毕。在对第二类相位点校正时,虽然不连续处边界的相位点可能出现校正错误,但是他们均会被限制在一个很小的区域内。

3 实验结果及分析

实验装置示意图如图1所示。投影设备为德州仪器公司提供的DLP4500,原始分辨率为912 pixel×1140 pixel。相机为pco.edge 5.5,最大分辨率为2560 pixel×1920 pixel。镜头为Nikon 24-85 mm镜头,使用微距模式。电脑CPU为Intel i3-3220,主频为3.30 GHz,内存为8 GB,程序运行环境为MATLAB。通过同步线将DLP4500的触发信号传输给相机。实验使用3种频率的条纹图,条纹间距分别为15,120,960 pixel,依次测量平滑表面和非平滑表面两类煤块。

图 1. 实验装置示意图

Fig. 1. Schematic of experimental device

下载图片 查看所有图片

3.1 平滑表面煤块

平滑表面煤块的T1条纹图和背景强度如图2(a)和(b)所示,背景强度的平均灰度值为71.7,利用迭代阈值分割得到的阈值为61.8,图2(c)为煤块和阴影的二值图像。数据调制度γ(x,y)的阈值取0.15,小于该阈值的区域为阴影并将该阴影去除,选取其中最大的连通域作为煤块的有效测量区域,其二值图像如图2(d)所示。

图 2. 平滑表面煤块。(a)条纹图;(b)背景强度;(c)煤块和阴影二值图像;(d)有效测量区域二值图像

Fig. 2. Coal with smooth surface. (a) Fringe pattern; (b) background intensity; (c) binary image of coal and shadow; (d) binary image of valid measurement area

下载图片 查看所有图片

选取阈值Q_th=2π-1。图3(a)和(b)分别为第一类和第二类相位点分布的二值图,相位点的数量分布如表1所示,第一类相位点分布集中而且占比较大,第二类相位点占比较小,整体分布更加分散。图4(a)和(b)分别为校正前和校正后的第一类相位点的相位分布(为了显示效果Φ减去了参考平面的相位,下同),可以发现第一类相位点包含了部分无效相位点,这是因为部分无效相位点聚集分布在一些小区域内,其内部点的可靠度Q有可能小于Q_th而被判别为第一类点。图4(c)和(d)分别为校正前和校正后的第二类相位点的相位分布。经过校正,煤块有效测量区域内的相位分布如图5所示。

图 3. 2种相位类型的平滑表面煤块相位点分布的二值图像。(a)第一类;(b) 第二类

Fig. 3. Binary images of phase point distribution for two phase types of coal with smooth surface. (a) First type; (b) second type

下载图片 查看所有图片

图 4. 平滑表面煤块的相位分布。(a)校正前的第一类相位点;(b)校正后的第一类相位点; (c)校正前的第二类相位点;(d)校正后的第二类相位点

Fig. 4. Phase distributions of coal with smooth surface. (a) First type of phase points before correction; (b) first type of phase points after correction; (c) second type of phase points before correction; (d) second type of phase points after correction

下载图片 查看所有图片

图 5. 平滑表面煤块校正后的相位分布

Fig. 5. Phase distribution of coal with smooth surface after correction

下载图片 查看所有图片

本文将文献[ 15-16]算法、文献[ 17]算法应用于煤块的相位校正中,校正后的相位分布均与图4类似,这说明对于平滑表面,本文所提出的算法和上述3种算法均能有效地校正无效相位。本文所提出的算法相位校正的时间为0.18 s,速度与文献[ 16]算法相当。

3.2 非平滑表面煤块

图6(a)和(b)分别为非光滑表面煤块的T1条纹图和背景强度,图6(c)为有效测量区域的二值图。图7(a)、(b)分别为第一类和第二类相位点分布的二值图,相位点数量分布如表1所示。图8(a)、(b)分别为校正后的第一类和第二类相位点的相位分布。本文所提算法、文献[ 15-16]算法和文献[ 17]算法校正后的三维相位分布分别如图9(a)~(d)所示。对于表面不连续的情况,本文所提算法的相位校正结果良好,而另外3种算法均出现了相位校正错误的情况。文献[ 15]算法利用条纹背景强度I'作为可靠度判据,而煤块本身的背景强度较低,所以在校正路径穿过煤块表面的不连续处时错误校正很难避免。文献[ 16]算法和文献[ 17]算法的可靠度判据在计算相位梯度时对相位梯度进行了解包裹,这导致其计算出的绝对相位梯度被限制在π以内,故不能有效地避免不连续处的相位点被归为高可靠度点。文献[ 16]算法和文献[ 17]算法会导致相位校正的路径在校正的初期便穿过不连续处,从而引起校正误差扩散。几种算法的运行时间如表2所示,其中文献[ 16]算法的运行时间与具体的分割有关,本文计算了两种极端情况,给出了运行时间的范围。由于非光滑表面煤块的第二类相位点的数量是光滑表面煤块第二类相位点数量的5倍左右,所以在对第二类相位点校正时,非光滑表面煤块遍历队列消耗的时间更长。

图 6. 非平滑表面煤块。(a)条纹图;(b)背景强度;(c)有效测量区域的二值图像

Fig. 6. Coal with non-smooth surface. (a) Fringe pattern; (b) background intensity; (c) binary image of valid measurement area

下载图片 查看所有图片

图 7. 2种相位类型的非平滑表面煤块相位点分布二值图像。(a)第一类;(b)第二类

Fig. 7. Binary images of phase point distributions of two phase types of coal with non-smooth surface. (a) First type; (b) second type

下载图片 查看所有图片

图 8. 非平滑表面煤块校正后的相位分布。(a)第一类相位点;(b)第二类相位点

Fig. 8. Phase distributions of coal with non-smooth surface after correction. (a) First type of phase points; (b) second type of phase points

下载图片 查看所有图片

图 9. 经不同算法校正后非平滑表面煤块的相位分布。(a)本文所提算法;(b)文献[ 15]算法;(c)文献[ 16]算法;(d)文献[ 17]算法

Fig. 9. Phase distributions of coal with non-smooth surface after correction by different methods. (a) Proposed method; (b) method in Ref. [15]; (c) method in Ref. [16]; (d) method in Ref. [17]

下载图片 查看所有图片

图 10. 煤渣。(a)背景强度;(b)有效测量区域内校正后的相位分布

Fig. 10. Cinder. (a) Background intensity; (b) phase distribution in valid measurement area after correction

下载图片 查看所有图片

3.3 算法适用性和精度分析

为了验证所提算法的适用性,对图10(a)中煤渣的相位进行了校正,相位点数量分布如表1所示。相比于煤块,煤渣的第二类相位点的数量占比更少。这可能是因为煤渣表面的反射率比煤块高,条纹的信噪比更高,使得相位误差更小,发生条纹级次错误的无效相位点数量减少。相位校正的运行时间为0.10 s。校正后的相位分布如图10(b)所示。经过标定后^[19],光滑表面和非光滑表面煤块的点云分布分别如图11(a)和(b)所示。为了检验煤块的测量精度,使用经过表面处理后为暗色的高度为5 mm的标准量块进行模拟。如图12所示,黄色的点云为标准量块的高度分布,平均高度为10.0478 mm;绿色的点云为基底,平均高度为4.9664 mm,两者的高度差约为5.0814 mm。高度方向的平均测量误差约为81 μm。

图 11. 煤块点云。(a)光滑表面;(b)非光滑表面

Fig. 11. Point cloud of coal. (a) Smooth surface; (b) non-smooth surface

下载图片 查看所有图片

图 12. 标准量块。(a)条纹图;(b) 3D点云

Fig. 12. Standard gauge block. (a) Fringe pattern; (b) 3D point cloud

下载图片 查看所有图片

4 结论

对比分析了文献[ 15-16]算法和文献[ 17]算法等几种可靠度导向的校正算法。对于光滑表面煤块,上述几种均能得到良好的校正结果,但是对于非光滑表面,均存在相位校正错误的情况。根据解包裹相位的相位梯度定义了可靠度判据。根据发生条纹级次错误的无效相位点与其校正相位的差值为2π整数倍这一特点,选取阈值将相位点分成了两类。研究发现第一类相位点数量占比大且分布集中,第二类相位点数量占比小且呈分散分布。基于洪水填充算法对第一类中最大的连通域进行校正,有效地保证了高可靠度的相位点优先得到校正,限制了无效相位点和不连续处边界点的校正误差扩散,并且提高了算法的运行效率。使用遍历队列的方法校正第二类相位点,第二类相位点的数量越少,算法的运行效率越高。在对第二类相位点校正时,虽然不连续处边界的相位点可能出现校正错误,但是他们会被限制在一个很小的区域内。对于平滑表面和非平滑表面煤块,所提算法均能得到良好的校正结果。通过煤渣的测量结果验证了本文所提算法的适用性,同时该算法也适用于其他的物体。