基于BP神经网络的结构光光条中心提取

李玥华; 刘朋; 周京博; 任有志; 靳江艳

doi:doi:10.3788/AOS201939.1212005

光学学报, 2019, 39 (12): 1212005, 网络出版: 2019-12-06

基于BP神经网络的结构光光条中心提取下载： 1300次

Center Extraction of Structured Light Stripe Based on Back Propagation Neural Network

论文大纲

李玥华刘朋周京博 ^*任有志靳江艳

作者单位

河北科技大学机械工程学院, 河北石家庄 050018

测量结构光光条中心提取 BP神经网络网络训练误差分析 measurement structured light stripe center extraction BP neural network network training error analysis

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为了精确、快速地提取结构光光条中心,提出了一种基于BP神经网络的中心提取方法。给出了使用BP神经网络实现光条中心提取的基本原理、训练网络所需的理想中心点的求取方法,以及网络权值的调整算法。研究了隐含层神经元个数m、隐含层层数h,以及训练样本对中心提取精度的影响,结果表明:当m=3,h=1,训练样本为带有噪声的随机光条时,神经网络能够得到更好的光条中心。由对比实验可以看出,所提方法相较于Steger方法和灰度重心法的中心提取精度更高,而且对1280 pixel×960 pixel光条图像中心提取的平均用时仅约为0.04 s,为Steger方法的0.27%。所提方法具有高精度、高效率等优势,能够满足复杂光条亚像素中心提取的要求。

Abstract

To accurately and rapidly extract the center of the structured-light stripe, we propose a center extraction method based on the back-propagation neural network (BPNN). The basic principle of stripe-center extraction using the BPNN, the method that calculates the ideal center points for network training, and the network-weight tuning algorithm are presented successively. Factors affecting the center extraction accuracy, such as the number of hidden layer neurons m, number of hidden layers h, and training samples are investigated. The center-extraction results show that the network can achieve a better stripe center when m=3 and h=1, and the training sample is a random stripe with noise. From the comparison analysis, it can be concluded that the proposed method can achieve higher center-extraction accuracy than both the Steger method and the gray gravity method. The average center-extraction time for a stripe image with the size of 1280 pixel× 960 pixel is 0.04 s, which is only 0.27% of the time required by the Steger method. This further demonstrates that the proposed method has the advantages of high precision and high efficiency. Therefore, it is adequate for sub-pixel center extraction of complex light stripes.

1 引言

线结构光传感器主要由相机和投射线光条的激光器组成,具有结构简单、测量速度快、精度较高等优点,在三维视觉测量和检测中具有广阔的应用前景^[1-2]。由被测表面调制得到的变形光条宽度通常为几到几十个像素。测量时,须先准确得到光条中心,再根据传感器系统参数计算对应的轮廓。传感器系统参数由激光器与相机的相对位姿、相机内参数和畸变参数决定,其在标定完成后不再变化^[3-4]。光条图像质量随被测对象面型、材质、所处环境的改变而改变,如何快速、准确地提取光条中心是实现测量的关键,也是线结构光传感器研究的一个核心问题^[5]。

像素级中心提取法得到的光条中心坐标的最小单位为单个像素,主要包括极值法^[6]和方向模板法^[7]。极值法计算速度快,但易受噪声影响,精度较低。方向模板法采用互相关运算,在降低噪声对中心提取结果影响的同时,也限制了计算效率的提高。随着对测量精度要求的提高,亚像素中心提取方法得到了更广泛的应用。灰度重心法(GGM)具有算法简单、计算效率高的优点,其不足之处在于精度低、对噪声敏感^[8]。梅峻华等^[9]在灰度重心法的基础上,从全局角度进行多项式曲线拟合得到了光条中心。Usamentiaga等^[10]通过对灰度重心法得到的光条中心点进行分割与多项式拟合来提升中心提取精度。Li等^[11]采用移动最小二乘拟合构建自适应窗口,进而依据每个窗口内像素点的灰度值计算对应光条截面的亚像素坐标。江永付等^[12]采用三次多项式曲线对灰度重心法得到的中心点进行拟合,改善了光条中心的提取效果。李涛涛等^[13]采用高斯-洛伦兹分峰拟合提取光条图像的中心,该方法具有提取精度高、适用性较强等特点。高世一等^[14]采用变边限高斯拟合法来提升中心的提取精度。上述方法均通过拟合来提升中心的提取精度,计算过程中需要求解拟合多项式系数,从而影响了光条中心的提取速度。

Steger法^[15]是目前应用最广泛的光条中心提取方法,该方法先采用Hessian矩阵计算光条中心的法向量,然后通过泰勒展开得到亚像素中心坐标。计算过程需要进行大量的高斯卷积运算,卷积运算在提升中心提取精度和可靠性的同时也显著影响了计算效率。通过卡尔曼滤波^[16]、霍夫变换^[17]、极值法^[18]、区域增长迭代法^[19]、差影法^[20]确定光条所在的像素区域,仅对光条区域进行卷积计算,可以提升中心提取的效率。测量时光条形状是变化的,故每幅光条图像均需重新确定光条区域,计算量较大。此外,Steger法提取光条中心时存在丢失数据点和获取多重数据点的问题^[21]。除上述方法外,光条中心提取法还有主成分分析方法^[22]、多尺度分析法^[23],这些方法在提升中心提取精度的同时,存在算法复杂、提取时间长等不足。采用高性能图形处理器(GPU)及深度学习模型先对光条模型进行区段分割,再对每个区段内的光条进行中心提取,能够有效缩短中心提取的时间,但相应的硬件成本也会显著增加^[24]。综上分析,在考虑硬件成本的前提下,目前光条中心提取面临的主要问题是效率与精度难以兼顾。为了提升中心提取精度而引入的拟合、卷积、互相关、多尺度等算法均涉及到大量的数据运算,限制了中心提取效率的提升。

针对上述问题,本文提出了一种基于BP(back propagation)神经网络的线结构光光条中心提取方法,给出了神经网络的训练方法,分析了影响光条中心提取精度的因素,实现了光条中心高精度、高效率的提取。

2 基本原理

2.1 选取像素点

光条中心按列像素依次提取,先选取每列像素中光条的截面区域,如图1所示。ouv为图像坐标系,u为横坐标,v为纵坐标。设光条截面中心点的灰度阈值为I_T,当计算得到的第q列截面中心点的灰度值I_q≥I_T时,此中心点有效。对于第q列像素点(q≥3),当q-2、q-1列截面中心点P_q_-2、P_q_-1未知时,采用GGM计算,并判断其有效性;当P_q_-2、P_q_-1已知时,则下一个光条截面中心点P_q的像素坐标为

(u_{q}^{⊥}, v_{q}^{⊥}) = [q, Floor (2 v_{q - 1} - v_{q - 2})], (1)

式中:v_q_-1和v_q_-2分别为P_q_-1和P_q_-2的纵坐标值。根据像素点灰度值判断P_q是否有效,若为有效截面中心点,则所选取的行像素的序号范围为

(V_{q}^{\min}, V_{q}^{\max}) = (v_{q}^{⊥} - \frac{n' - 1}{2}, v_{q}^{⊥} + \frac{n' - 1}{2}), (2)

式中, $V_{q}^{\min}$ 和 $V_{q}^{\max}$ 分别为第q列上所取行像素的最小、最大序号;n'为奇数,表示选取的像素行数。对选取的像素点采用神经网络重新计算P_q的像素坐标,直至将光条中心提取完毕。当光条存在间断点时,则根据(1)式得到的P_q的灰度值I_q<I_T,P_q为无效的截面中心点,需采用GGM重新计算光条中心,直至得到连续两个有效的截面中心点。

图 1. 选取截面像素点

Fig. 1. Selection of pixels of cross section profile

下载图片查看所有图片

2.2 计算亚像素中心

采用BP神经网络计算所选取的每列像素中心的基本原理如图2所示。对于所选取的像素点,以每个像素点为窗口中心,以5 pixel×5 pixel为窗口大小,进行中值滤波,以提升中心提取的准确性。神经网络的输入为X=(x₁,x₂,…,x_n)^T,x₁,x₂,…, x_n为像素点归一化灰度值,n为输入层神经元个数;输入层输出向量为A=(a₁,a₂,…, a_n)^T,a₁, a₂, …, a_n为每个输入层神经元的输出值;隐含层输出向量为B=(b₁,b₂,…, b_m)^T,b₁,b₂, …, b_m为每个隐含层神经元的输出值,m为隐含层神经元的个数;输出层输出值为c₁,表示中心点相对于像素 $V_{q}^{\min}$ 的偏移量;输入层到隐含层的权值矩阵为W_m_×_n,w_i_,_j为权值矩阵的第i行、第j列元素;隐含层到输出层的权值向量为G_1×_m,g_k为权值向量的第k个元素。

图 2. 采用神经网络计算每列像素中心的基本原理

Fig. 2. Basic principle of center computation of each column using neural network

下载图片查看所有图片

给定输入层神经元的权值为1,激励函数为f_a(x)=x,x为输入,则输入层的输出向量与训练样本相等,即A=X。隐含层采用Sigmod激励函数,则隐含层神经元输出为

B = \frac{1}{1 + \exp (- WA)}, (3)

输出层激励函数取

f_{c} (x) = \frac{n}{1 + \exp (- x)}, (4)

从而保证了输出函数的最大值与所选像素行数一致。此时,采用神经网络得到的亚像素中心的坐标值为

(u_{q}, v_{q}) = (q, V_{q}^{\min} + \frac{n}{1 + \exp (- GB)}) 。 (5)

2.3 神经网络的训练

为得到神经网络的权值,需根据理想光条中心对网络进行训练。先采用Steger法^[15]得到光条的中心 $P_{q}^{s}$ ( $u_{q}^{s}$ , $v_{q}^{s}$ ), $u_{q}^{s}$ 和 $v_{q}^{s}$ 分别为第q列像素点所对应的中心点的横坐标和纵坐标。由于神经网络得到的第q列像素点的横坐标u_q位于此列像素的中心线上,而 $u_{q}^{s}$ 并非位于此列像素的中心线上,故不能直接以 $P_{q}^{s}$ 作为理想输出点对网络进行训练。为此,提出采用移动最小二乘法对 $P_{q}^{s}$ 进行拟合,重新计算第q列像素点对应的理想光条中心 $P_{q}^{*}$ ( $u_{q}^{*}$ , $v_{q}^{*}$ ), $u_{q}^{*}$ 和 $v_{q}^{*}$ 分别为理想中心点的横坐标和纵坐标。理想中心点的横坐标须与神经网络提取的横坐标一致,故 $u_{q}^{*}$ =u_q。假设 $P_{q}^{s}$ 对应的移动最小二乘的拟合方程为

f_{MLS} (x) = \overset{Γ}{\sum_{γ = 1}} α_{γ} β_{γ} (x) = β^{T} (x) α, (6)

式中:β(x)为Γ次多项式基函数,β(x)=[β₁(x),β₂(x),…,β_γ(x),…,β_Γ(x)]^T,其中β_γ(x)为基函数中的第γ项;α为多项式的待定系数,α=[α₁,α₂,…,α_γ,…,α_Γ]^T,其中α_γ为基函数第γ项所对应的待定系数。则加权的拟合误差为

J (α) = \overset{Κ}{\sum_{κ = 1}} ω (r_{κ}) [β^{T} (x) α - {v^{s}}_{κ}]^{2}, (7)

其中

\begin{array}{l} r_{κ} = ‖ {P^{s}}_{κ} - {P^{s}}_{q} ‖ \cdot R_{s}^{- 1}, (8) \\ ω (r_{κ}) = \{\begin{array}{l} 1 - 6 r_{κ}^{2} + 8 r_{κ}^{3} - 3 r_{κ}^{4}, r_{κ} \leq 1 \\ 0, r_{κ} > 1 \end{array}, (9) \end{array}

式中:Κ为所选择的区域中光条中心点的个数; ${v^{s}}_{κ}$ 为第κ个光条中心点的纵坐标;r_κ为第κ个点到 $P_{q}^{s}$ 的归一化距离; ${P^{s}}_{κ}$ 为拟合曲线上的第κ个点向量;R_s为拟合域的支撑半径;ω(r_κ)为4阶样条权函数。

第q列像素对应的光条中心的理想纵坐标为 $v_{q}^{*}$ =f_MLS( $u_{q}^{*}$ )。对于具有U列像素的光条图像,神经网络得到的光条中心位置误差为

E^{(l)} = \frac{1}{2} \overset{U}{\sum_{q = 1}} (v_{q}^{(l)} - v_{q}^{*})^{2}, (10)

式中: $v_{q}^{(l)}$ 为神经网络权值在第l次调整后得到的第q列光条中心的纵坐标。

根据梯度下降原理调整神经网络权值

(\begin{array}{l} Δ g_{k}^{(l)}, & Δ w_{i, j}^{(l)} \end{array}) = (\begin{array}{l} - η \frac{\partial E^{(l)}}{\partial g_{k}}, & - η \frac{\partial E^{(l)}}{\partial w_{i, j}} \end{array}), (11)

式中:Δ $g_{k}^{(l)}$ 为权值向量G中第k个元素的变化量;Δ $w_{i, j}^{(l)}$ 为权值矩阵W中第i行、第j列元素的变化量;l为网络权值调整的次数;η为学习效率因子,η∈[0,1]。根据链式法则以及神经网络各层间的激励函数,可将(11)式中的权值调整量整理为

\begin{array}{l} Δ g_{k}^{(l)} = - η \cdot (v_{q}^{(l)} - v_{q}^{*}) \cdot n \cdot v_{q}^{(l)} \cdot (1 - v_{q}^{(l)}) \cdot b_{i}^{(l)}, (12) \\ Δ w_{i, j}^{(l)} = - η \cdot (v_{q}^{(l)} - v_{q}^{*}) \cdot n \cdot v_{q}^{(l)} \cdot (1 - v_{q}^{(l)}) \cdot g_{i} \cdot b_{i}^{(l)} \cdot (1 - b_{i}^{(l)}) \cdot a_{j}^{(l)}, (13) \end{array}

式中: $a_{j}^{(l)}$ 为输入层第j个神经元的输出; $b_{i}^{(l)}$ 为隐含层第i个神经元的输出。则调整后的权值为

(g_{k}^{(l + 1)}, w_{i, j}^{(l + 1)}) = (g_{k}^{(l)} + Δ g_{k}^{(l)}, w_{i, j}^{(l)} + Δ w_{i, j}^{(l)}) 。 (14)

当网络训练误差小于给定误差,或者训练次数达到最大训练值时,停止训练,根据(5)式即可得到光条中心。

3 实验与讨论

3.1 训练网络

训练神经网络时采用的计算机的CPU为Intel i5-3470,主频为3.2 GHz,内存为4 GB。计算软件平台为MATLAB R2012b。神经网络为三层网络,输出层神经元个数为1,输入层、隐含层神经元个数分别设定为n=11和m=3。使用如图3所示的4种不同形状的光条对网络进行训练。为了提高训练速度,用于网络训练的光条图像均为60 pixel×86 pixel。

图 3. 用于网络训练的不同形状的光条。(a)下降光条;(b)上升光条;(c)水平光条;(d)随机光条

Fig. 3. Light stripes with different shapes for network training. (a) Falling stripe; (d) rising stripe; (c) horizontal stripe; (d) random stripe

下载图片查看所有图片

神经网络训练时,每次迭代后得到的均方根误差为

E_{rms}^{(l)} = \sqrt[]{\frac{2 E^{(l)}}{U}} 。 (15)

分别计算采用图3中各光条对网络进行训练时所对应的均方根误差曲线T_a、T_b、T_c、T_d,如图4所示,随迭代次数增加, $E_{rms}^{(l)}$ 值都能收敛( $E_{rms}^{(l)}$ 先快速减小,后基本保持不变,再快速减小,最后缓慢减小)。此外, $E_{rms}^{(l)}$ 值还与光条的复杂程度相关:直线光条训练得到的 $E_{rms}^{(l)}$ 值最小,为0.0073 pixel;对于随机光条,其形状最复杂,训练得到的 $E_{rms}^{(l)}$ 值最大,但也仅为0.0114 pixel。4个光条训练时间均约为2 min,与光条的形状无关。

图 4. 均方根误差的收敛曲线

Fig. 4. Convergence curve of root mean square error

下载图片查看所有图片

3.2 截面中心提取

光条截面的灰度值通常为高斯分布,考虑噪声影响时,第q个截面任意像素v_h的灰度值I_h可表示为

I_{h} = Z_{0} \exp [- (v_{h} - Δ v_{q})^{2} / σ_{0}^{2}] + z_{0} ε_{h}, (16)

式中:Z₀为灰度幅值;Δv_q为中心偏移量;σ₀为方差;ε_h为服从均匀分布的随机噪声;z₀为噪声的幅值,且I_h≤255。当Z₀=155,σ₀=2,z₀=10时,根据(16)式可得光条截面轮廓,如图5所示。轮廓的理想中心即为Δv_q,采用神经网络得到的轮廓中心为v_q,则提取误差为

E_{net}^{(q)} = v_{q} - Δ v_{q} 。 (17)

在(-2,2)区间内,随机改变Δv_q得到1000个截面轮廓,进而计算神经网络提取的每个轮廓对应的误差值 $E_{net}^{(q)}$ ,作出此误差值的统计直方图,如图6所示。误差值近似呈高斯分布,通过高斯拟合得到此分布所对应的标准差σ=0.0271 pixel,且所有误差值均在0.1 pixel以内,表明神经网络能够精确提取光条截面中心。

图 5. 光条截面灰度

Fig. 5. Gray value of stripe cross

下载图片查看所有图片

图 6. 中心提取误差直方图

Fig. 6. Histogram of center extraction error

下载图片查看所有图片

分别计算噪声幅值z₀不同时,中心提取误差分布3σ值和E_rms值,如表1所示。可见中心提取误差随z₀的增大而增大,当z₀=20时,3σ值仅为0.1548 pixel,E_rms值仅为0.0521 pixel,表明神经网络在不同噪声水平上也能实现中心的高精度提取。

表 1. 不同噪声下的均方误差值和误差分布3σ值

Table 1. Mean square error and error distribution 3σ value under different noises

z₀	0	5	10	15	20
3σ /pixel	0.0561	0.0627	0.0813	0.1419	0.1548
E_rms /pixel	0.0187	0.0209	0.0272	0.0479	0.0521

查看所有表

3.3 光条中心的提取

采用图3(d)所示随机光条训练好的神经网络,设定截面中心点的灰度阈值I_T=50,分别对弧形、随机、间断、齿形光条的中心进行提取,光条图像及中心提取结果如图7所示。可见虽然4个光条形状各异,且光条上噪声的大小亦不相同,但神经网络均能成功提取光条图像的中心。

图 7. 不同形状光条的中心提取结果。(a)弧形光条;(b)随机光条;(c)间断光条;(d)齿形光条

Fig. 7. Center extraction results of strips with different shapes. (a) Arc stripe; (b) random stripe; (c) discontinuous stripe; (d) tooth stripe

下载图片查看所有图片

3.4 影响中心提取精度的因素

3.4.1 神经网络结构

1) 输入层神经元数

当输入层神经元个数少于光条截面宽度时,光条截面信息不能完全输入到神经网络中,会影响提取精度;当输入层神经元个数过多时,则会增加网络训练难度,降低提取速度。实验发现,该传感器光条截面像素宽度均在10 pixel以下,故选取输入层神经元个数n=11。

2) 隐含层神经元数

隐含层神经元个数m取决于输入和输出之间的非线性程度,目前还没有统一的计算方法,拟根据神经网络对光条中心提取的误差确定隐含层的神经元个数。评判中心提取误差时选用深圳PointVision公司的陶瓷靶标背面作为参考平面,其平面度可达5 μm。移动陶瓷靶标,使激光平面与陶瓷表面相交,得到三个不同位置处的激光光条L₁、L₂、L₃,如图8所示。

图 8. 直线光条样本

Fig. 8. Sample of straight line

下载图片查看所有图片

选取靶标表面上的光条作为感兴趣区域(ROI),使用具有不同隐含层神经元个数的网络提取上述不同位置处的三根直线光条的中心。对中心点进行直线拟合,计算不同光条在不同隐含层神经元个数下拟合误差的绝对均值E_avr和均方根值E_rms,分别如图9(a)、(b)所示。当m=3时,E_avr值和E_rms值最小,故隐含层神经元数选为3个。

图 9. 隐含层神经元个数不同时直线光条中心提取误差。(a)均值;(b)均方根值

Fig. 9. Center extraction error of linear stipe for different numbers of hidden layer neurons. (a) Average value; (b) root mean square value

下载图片查看所有图片

3) 隐含层层数

在单个隐含层的基础上,再增加一个隐含层,并将新增隐含层神经元个数设定为3,在隐含层层数分别为1、2的情况下分别计算图8中光条中心提取的E_rms值和E_avr值,结果如表2所示。可见,当隐含层层数增加时,中心提取的E_rms值、E_avr值均增加,故选取隐含层层数为1。

表 2. 不同隐含层层数时的中心提取误差

Table 2. Center extraction error for different numbers of hidden layers

Error	L₁		L₂1 2		L₃1 2
Error	1 2		L₂1 2		L₃1 2
E_rms /pixel	0.1505	0.2780	0.1564	0.2788	0.1596	0.2722
E_avr /pixel	0.1218	0.2253	0.1261	0.2200	0.1223	0.2135

查看所有表

3.4.2 训练样本

选取如图3所示的4个光条图像对神经网络进行训练,分别使用由上述图像训练得到的神经网络提取图8中直线光条L₁、L₂和L₃的中心,求取中心提取的E_rms值、E_avr值和最大偏差值E_md值,结果如表3所示。采用图3(d)所示光条作为训练样本时,中心提取的各误差值均最小,表明采用具有一定噪声的随机光条图像能够得到更好的训练效果,因此神经网络选用由图3(d)训练得到的结果。

表 3. 使用不同训练样本时网络对光条中心的提取误差

Table 3. Stripe center extraction error from network using different training samples

Error	Fig. 3(a)	Fig. 3(b)	Fig. 3(c)	Fig. 3(d)
E_rms /pixelE_avr /pixelE_md /pixel	0.20930.16480.8525	0.15710.12090.5325	0.23320.18590.7360	0.14860.11810.4969

查看所有表

4 对比分析

采用所提方法计算图8中L₁直线光条的中心,光条图像及中心提取结果如图10(a)所示,可见,所得中心与期望位置一致,中心点平直、波动小。再采用Steger法提取此光条中心,并分别计算该方法与所提方法得到的中心提取误差,结果如图10(b)所示。可见,所提方法与Steger法中心提取误差均值分别为0.1192 pixel和0.1407 pixel,表明所提方法能够得到更加精确的中心提取结果。

图 10. 光条中心提取结果及误差比较。(a)光条中心神经网络提取结果;(b)中心提取误差对比

Fig. 10. Center extraction result of stripe and error comparison. (a) Center extraction result of stripe using neural network; (b) comparison of center extraction errors

下载图片查看所有图片

此时,L₁光条与水平方向的夹角约为0°,为了进一步分析所提方法在提取精度上的优势,旋转靶标使光条与水平方向依次成20°、40°、60°、80°夹角,并分别采用GGM、Steger法、所提方法提取光条中心,通过直线拟合计算中心提取误差的E_rms值,结果如表4所示。可见:在夹角为0°时,所提方法相对于GGM和Steger法,中心提取误差的E_rms值分别减少了48%和20%;当光条倾斜不同角度时,所提方法相对于上述两种方法也均显著减小。

表 5. 不同方法进行中心提取的运行时间

Table 5. Run time of different center extraction methods

Sample	Run time /s
Sample	Steger	GGM	Our method
Fig.7(a)Fig.10(a)Fig.11(a)	15.294415.097215.1043	0.01170.01210.0125	0.03970.04080.0402

查看所有表

表 4. 光条与水平方向呈不同夹角时不同中心提取方法的E_rms值

Table 4. E_rms obtained by different center extraction methods for different angles between stripe and horizontal direction

Angle /(°)	E_rms /pixel
Angle /(°)	GGM	Steger	Our method
0	0.2669	0.1748	0.1405
20	0.2977	0.1664	0.1441
40	0.3683	0.1985	0.1721
60	0.4539	0.2956	0.2275
80	1.4576	1.4318	1.2533

查看所有表

实际测量中,光条形状较为复杂,光条上各处的质量也各不相同,并可能存在欠曝光、过曝光等现象,如图11(a)所示。分别采用Steger法和所提方法进行中心提取,不同质量光条对应的中心提取结果的局部放大图分别如图11(b)~(d)所示。可见:当光条处于欠曝光状态时,Steger法对光条中心的提取效果较差,丢失了很多有用信息;当光条处于较理想状态时,Steger法对光条中心的提取效果较好;当光条处于过曝光状态时,Steger法提取的截面中出现了多个中心点,难以确定实际中心点的准确位置;而所提方法在上述不同曝光条件下,均能精确提取光条中心,且提取结果连续光滑,说明所提方法的适用性更强。

图 11. 不同质量光条的中心提取结果。(a)原始光条;(b)欠曝光;(c)正常光条;(d)过曝光

Fig. 11. Comparison of center extraction results for different stripe qualities. (a) Original stripe; (b) under exposed stripe; (c) normal exposed stripe; (d) over exposed stripe

下载图片查看所有图片

选取相机拍摄的大小为1280 pixel×960 pixel的光条图像,分别采用Steger、GGM和所提方法进行中心提取,运行时间如表5所示。由表5可以看出:Steger法平均用时约为15.17 s,而本文方法平均用时约为0.04 s,仅为Steger法的0.27%,计算效率大幅提升,能够满足光条中心提取的实时性要求。所提方法运行时间与光条形态的复杂程度无关,但用时比灰度重心法大,这主要由于中心提取前对光条图像进行了中值滤波,每幅光条图片中值滤波耗时约0.023 s,神经网络中心提取用时约为0.017 s,故运行时间略高于灰度重心法。

5 结论

提出了一种基于BP神经网络的线结构光光条中心提取方法,给出了神经网络的训练策略,并对影响中心提取的因素进行了分析。通过对Steger方法得到的光条中心进行移动最小二乘拟合得到用于网络训练的理想的光条中心样本,训练后神经网络对光条中心提取误差的均方根值小于0.02 pixel,表明所提方法能够实现对神经网络的高精度训练。训练得到的结果仅为网络各层间的权值,便于存储和使用。直线光条中心提取结果表明,当隐含层神经元个数为3、隐含层层数为1时,中心提取效果最好。使用带有噪声的不规则光条训练得到的网络,可以得到更高的光条中心提取精度。由对比实验可知,所提方法对直线光条中心的提取误差小于Steger法和灰度重心法。根据不同曝光质量的随机光条中心提取结果可以看出,所提方法在正常曝光条件下与Steger法结果基本一致,且在欠曝光和过曝光区域分别克服了Steger法存在的中心点丢失和多重中心点的问题。对于1280 pixel×960 pixel图像,本文方法提取光条中心的运行时间仅约为0.04 s,相较于Steger法显著缩短,表明该方法在光条中心提取方面具有精度好、效率高的优势。

参考文献

[1] Mao Q Z, Cui H, Hu Q W, et al. A rigorous fastener inspection approach for high-speed railway from structured light sensors[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 143: 249-267.

[2] 李玥华, 周京博, 刘利剑. 线结构光测量技术研究进展[J]. 河北科技大学学报, 2018, 39(2): 115-124.

Li Y H, Zhou J B, Liu L J. Research progress of the line structured light measurement technique[J]. Journal of Hebei University of Science and Technology, 2018, 39(2): 115-124.

[3] Zhou F Q, Zhang G J. Complete calibration of a structured light stripe vision sensor through planar target of unknown orientations[J]. Image and Vision Computing, 2005, 23(1): 59-67.

[4] 周京博, 李玥华, 秦志英, 等. 基于参考靶标的线结构光传感器标定[J]. 光学学报, 2019, 39(4): 0412005.

Zhou J B, Li Y H, Qin Z Y, et al. Calibration of line structured light sensor based on reference target[J]. Acta Optica Sinica, 2019, 39(4): 0412005.

[5] 李莹莹, 张志毅, 袁林. 线结构光光条中心提取综述[J]. 激光与光电子学进展, 2013, 50(10): 100002.

Li Y Y, Zhang Z Y, Yuan L. Survey on linear structured light stripe center extraction[J]. Laser & Optoelectronics Progress, 2013, 50(10): 100002.

[6] 贺俊吉, 张广军. 结构光三维视觉检测中光条图像处理方法研究[J]. 北京航空航天大学学报, 2003, 29(7): 593-597.

He J J, Zhang G J. Study on method for processing image of strip in structured-light 3D vision measuring technique[J]. Journal of Beijing University of Aeronautics and Astronautics, 2003, 29(7): 593-597.

[7] 胡斌, 李德华, 金刚, 等. 基于方向模板的结构光条纹中心检测方法[J]. 计算机工程与应用, 2002, 38(11): 59-60, 109.

Hu B, Li D H, Jin G, et al. New method for obtaining the center of structured light stripe by direction template[J]. Computer Engineering and Applications, 2002, 38(11): 59-60, 109.

[8] Lü Z H, Zhang Z Y. Build 3D scanner system based on binocular stereo vision[J]. Journal of Computers, 2012, 7(2): 399-404.

[9] 梅峻华, 赖磊捷. 结构光测量系统光条中心提取算法研究[J]. 电子测量技术, 2018, 41(21): 8-13.

Mei J H, Lai L J. Research on extraction algorithm of light strip center in structured light measurement system[J]. Electronic Measurement Technology, 2018, 41(21): 8-13.

[10] Usamentiaga R, Molleda J, García D F. Fast and robust laser stripe extraction for 3D reconstruction in industrial environments[J]. Machine Vision and Applications, 2012, 23(1): 179-196.

[11] Li Y H, Zhou J B, Huang F S, et al. Sub-pixel extraction of laser stripe center using an improved gray-gravity method[J]. Sensors, 2017, 17(4): 814.

[12] 江永付, 江开勇, 林俊义. 线结构光光条中心亚像素精确提取方法[J]. 激光与光电子学进展, 2015, 52(7): 071502.

Jiang Y F, Jiang K Y, Lin J Y. Extrication method for sub-pixel center of linear structured light stripe[J]. Laser & Optoelectronics Progress, 2015, 52(7): 071502.

[13] 李涛涛, 杨峰, 李石庚, 等. 基于高斯-洛伦兹分峰拟合的线结构光条中心的提取方法[J]. 激光与光电子学进展, 2019, 56(7): 071201.

Li T T, Yang F, Li S G, et al. Extraction method of line-structured light stripe center based on Gauss-Lorenz decomposition peak fitting[J]. Laser & Optoelectronics Progress, 2019, 56(7): 071201.

[14] 高世一, 杨凯珍. 变边限高斯拟合提取激光条纹中心线方法的研究[J]. 仪器仪表学报, 2011, 32(5): 1132-1137.

Gao S Y, Yang K Z. Research on central position extraction of laser strip based on varied-boundary Gaussian fitting[J]. Chinese Journal of Scientific Instrument, 2011, 32(5): 1132-1137.

[15] Steger C. An unbiased detector of curvilinear structures[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(2): 113-125.

[16] 孙军华, 王恒, 刘震, 等. 钢轨磨耗动态测量中激光光条中心的快速提取[J]. 光学精密工程, 2011, 19(3): 690-696.

Sun J H, Wang H, Liu Z, et al. Rapid extraction algorithm of laser stripe center in rail wear dynamic measurement[J]. Optics and Precision Engineering, 2011, 19(3): 690-696.

[17] 南方, 李大华, 高强, 等. 改进Steger算法的自适应光条纹中心提取[J]. 激光杂志, 2018, 39(1): 85-88.

Nan F, Li D H, Gao Q, et al. Implementation of adaptive light stripe center extraction of improved Steger algorithm[J]. Laser Journal, 2018, 39(1): 85-88.

[18] 杨镇豪, 杨柳, 李辉, 等. 复杂环境下结构光中心线提取算法[J]. 计算机技术与发展, 2018, 28(9): 7-10.

Yang Z H, Yang L, Li H, et al. Stripe center extrication algorithm for structured-light in complex environment[J]. Computer Technology and Development, 2018, 28(9): 7-10.

[19] 刘剑, 刘丽华. 基于海森矩阵与区域增长的激光条纹中心提取[J]. 激光与光电子学进展, 2019, 56(2): 021203.

Liu J, Liu L H. Laser stripe center extraction based on Hessian matrix and regional growth[J]. Laser & Optoelectronics Progress, 2019, 56(2): 021203.

[20] 秦子扬, 夏桂锁, 伏燕军, 等. 基于差影法的Hessian矩阵激光条纹中心提取方法研究[J]. 南昌航空大学学报(自然科学版), 2017, 31(3): 28-33.

Qin Z Y, Xia G S, Fu Y J, et al. Extraction of Hessian matrix laser stripe center based on difference image method[J]. Journal of Nanchang Hangkong University(Natural Sciences), 2017, 31(3): 28-33.

[21] Xu G, Sun L N, Li X T, et al. Adaptable center detection of a laser line with a normalization approach using Hessian-matrix eigenvalues[J]. Journal of the Optical Society of Korea, 2014, 18(4): 317-329.

[22] 蔡怀宇, 冯召东, 黄战华. 基于主成分分析的结构光条纹中心提取方法[J]. 中国激光, 2015, 42(3): 0308006.

Cai H Y, Feng Z D, Huang Z H. Centerline extraction of structured light stripe based on principal component analysis[J]. Chinese Journal of Lasers, 2015, 42(3): 0308006.

[23] 李凤娇, 李小菁, 刘震. 基于多尺度分析的激光光条中心点坐标提取方法[J]. 光学学报, 2014, 34(11): 1110002.

Li F J, Li X J, Liu Z. A multi-scale analysis based method for extracting coordinates of laser light stripe centers[J]. Acta Optica Sinica, 2014, 34(11): 1110002.

[24] 王胜春, 韩强, 王昊, 等. 行车环境下钢轨轮廓激光条纹中心的提取方法[J]. 光学学报, 2019, 39(2): 0212004.

Wang S C, Han Q, Wang H, et al. Laser stripe center extraction method of rail profile in train-running environment[J]. Acta Optica Sinica, 2019, 39(2): 0212004.

李玥华, 刘朋, 周京博, 任有志, 靳江艳. 基于BP神经网络的结构光光条中心提取[J]. 光学学报, 2019, 39(12): 1212005. Yuehua Li, Peng Liu, Jingbo Zhou, Youzhi Ren, Jiangyan Jin. Center Extraction of Structured Light Stripe Based on Back Propagation Neural Network[J]. Acta Optica Sinica, 2019, 39(12): 1212005.

基于BP神经网络的结构光光条中心提取 下载： 1300次

1 引言

2 基本原理

2.1 选取像素点

图 1. 选取截面像素点

Fig. 1. Selection of pixels of cross section profile

2.2 计算亚像素中心

图 2. 采用神经网络计算每列像素中心的基本原理

Fig. 2. Basic principle of center computation of each column using neural network

2.3 神经网络的训练

3 实验与讨论

3.1 训练网络

图 3. 用于网络训练的不同形状的光条。(a)下降光条;(b)上升光条;(c)水平光条;(d)随机光条

Fig. 3. Light stripes with different shapes for network training. (a) Falling stripe; (d) rising stripe; (c) horizontal stripe; (d) random stripe

图 4. 均方根误差的收敛曲线

Fig. 4. Convergence curve of root mean square error

3.2 截面中心提取

图 5. 光条截面灰度

Fig. 5. Gray value of stripe cross

图 6. 中心提取误差直方图

Fig. 6. Histogram of center extraction error

表 1. 不同噪声下的均方误差值和误差分布3σ值

Table 1. Mean square error and error distribution 3σ value under different noises

3.3 光条中心的提取

图 7. 不同形状光条的中心提取结果。(a)弧形光条;(b)随机光条;(c)间断光条;(d)齿形光条

Fig. 7. Center extraction results of strips with different shapes. (a) Arc stripe; (b) random stripe; (c) discontinuous stripe; (d) tooth stripe

3.4 影响中心提取精度的因素

图 8. 直线光条样本

Fig. 8. Sample of straight line

图 9. 隐含层神经元个数不同时直线光条中心提取误差。(a)均值;(b)均方根值

Fig. 9. Center extraction error of linear stipe for different numbers of hidden layer neurons. (a) Average value; (b) root mean square value

表 2. 不同隐含层层数时的中心提取误差

Table 2. Center extraction error for different numbers of hidden layers

表 3. 使用不同训练样本时网络对光条中心的提取误差

Table 3. Stripe center extraction error from network using different training samples

4 对比分析

图 10. 光条中心提取结果及误差比较。(a)光条中心神经网络提取结果;(b)中心提取误差对比

Fig. 10. Center extraction result of stripe and error comparison. (a) Center extraction result of stripe using neural network; (b) comparison of center extraction errors

表 5. 不同方法进行中心提取的运行时间

Table 5. Run time of different center extraction methods

表 4. 光条与水平方向呈不同夹角时不同中心提取方法的Erms值

Table 4. Erms obtained by different center extraction methods for different angles between stripe and horizontal direction

图 11. 不同质量光条的中心提取结果。(a)原始光条;(b)欠曝光;(c)正常光条;(d)过曝光

Fig. 11. Comparison of center extraction results for different stripe qualities. (a) Original stripe; (b) under exposed stripe; (c) normal exposed stripe; (d) over exposed stripe

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于BP神经网络的结构光光条中心提取下载： 1300次

表 4. 光条与水平方向呈不同夹角时不同中心提取方法的E_rms值

Table 4. E_rms obtained by different center extraction methods for different angles between stripe and horizontal direction