基于双目相机的直线运动轨迹快速测量算法

蔡成涛; 王峰

doi:doi:10.3788/LOP56.051502

激光与光电子学进展, 2019, 56 (5): 051502, 网络出版: 2019-07-31

基于双目相机的直线运动轨迹快速测量算法下载： 1241次

Fast Trajectory Measurement Algorithm for Linear Motion Based on Binocular Camera

论文大纲

蔡成涛王峰 ^*

作者单位

哈尔滨工程大学自动化学院, 黑龙江哈尔滨 150001

机器视觉双目视觉测量小孔成像轨迹测量目标测距 machine vision binocular visual measurement pinhole imaging trajectory measurement target location

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对高速摄像条件下双目同步立体匹配存在困难的问题,提出了一种基于双目相机的空间直线运动轨迹快速测量算法。在建立了摄像机空间坐标系的基础上,基于小孔成像原理以及目标点与对应点的映射关系,构建了成像模型。对算法原理的实验验证表明,通过遍历点对组合并对其测量结果求平均值可减小误差,验证了原理的可行性与算法的有效性。

Abstract

Aim

ing at the difficulty of binocular synchronous stereo matching under high-speed camera conditions, a fast measurement algorithm for the spatial linear motion trajectory based on binocular camera is proposed. The camera space coordinate system is established ,and the imaging model is constructed based on the principle of small hole imaging and the mapping relationship between the target point and the corresponding point. The principle of the algorithm is verified experimentally, and the method of reducing the error by traversing the input points and finding the average value of the result is obtained. The feasibility of the principle and the effectiveness of the algorithm are verified.

1 引言

高速摄像机可应用于**实验中测量做高速直线运动的某型炮弹的运动轨迹^[1],其主要采用双目立体测距算法。传统的双目立体测距方法^[2]是通过相机标定获取摄像机内部参数和外部参数,得到世界坐标系和图像坐标系间的投影关系^[3],进而利用对应特征点匹配得到视差信息来测量目标距离。但该方法的难点在于合理选择匹配特征和匹配准则^[4],尤其是在高速摄像条件下,特征点匹配的过程变得尤为复杂、困难。

传统的双目测距系统的研究工作主要分为对结构上进行改进和对特征点匹配算法进行改进。Di等^[5]提出一种基于单旋转角分度摄像机的虚拟双目测距系统,通过旋转的单目相机模拟双目相机系统的组成,由同一物体投射的两个视差图像可以由不同空间位置的单个摄像机收集。此方法虽降低了成本,但测量误差足有3%左右,并未显著改善测量准确度。Lai等^[6]对双目相机测距系统进行了改进,为了获得移动机器人的范围信息,运用数字信号处理(DSP)控制系统对双目测距系统加以实时控制,此方法虽使平均误差降到了0.37%,但测量目标为120 cm的近距离单点,不适合用来测量做高速直线运动的目标。Xiong等^[7]提出了一种基于四景立体视觉的自动三维重构方法,由于双目图像具有可重复或相似的特征,在此工作中应用了一个四摄像头测量系统,可以添加额外的匹配约束并提供多个测量值。此方法虽显著提高了特征点匹配的准确度,但计算量较大,且在实际应用中操作复杂。上述文献的研究均基于对测距系统结构上的改进,而领域内对特征点匹配算法的研究也颇多。如沈彤等^[8]利用Matlab标定工具箱与OpenCv的Harris角点函数,实现了左右相机的立体校正和左右图像对的立体匹配。尽管因OpenCv库函数的高度集成性使得此方法应用非常广泛,但在匹配低纹理的目标图像对时仍存在困难。Hsu等^[9]提出了一种基于加速稳健特征(SURF)算法的改进立体匹配算法,从实验结果来看,稳定性较好且误差低于5%,但其缺点在于受环境光照影响较大。姚海滨等^[10]根据特征点之间极线约束关系定义了一种不受仿射变换影响的能量来描述特征点,有效降低了误匹配率和误剔除率,但计算较复杂。狄红卫等^[11]利用视差的分段连续性提出的一种特征点快速匹配算法,其视差图仍存在“线条”特征,在视差缓变处存在精度低的问题。张丽娟等^[12]提出的一种亚像素级匹配算法,由于实际操作较复杂,需要人工找出待匹配区域,待匹配区域既不能太小,也不能太大,因为太小会把精确匹配点排除在外,而太大又会增加匹配的计算量。

综合考虑了实际被测目标的高速直线运动特性与特征点匹配过程的算法复杂程度,本文提出了一种无需同步匹配的直线轨迹测量方法,旨在解决测量目标高速直线运动时传统的双目立体测距方法特征点匹配困难、精度差的问题。其基本原理为首先通过小孔成像模型中的几何映射关系求出双目相机的映射平面,两映射平面相交得出目标直线轨迹,然后通过目标的成像光路直线方程与已求出的轨迹直线方程相交得出目标点坐标,最后测量目标距离。从实验结果来看,该算法不仅无对应特征点匹配的过程,且测量结果的误差达到了一定要求。

2 坐标系的建立及转换

世界坐标系、图像坐标系和摄像机坐标系是双目视觉中需要用到的坐标系^[13-15],本文将左眼摄像机坐标系作为世界坐标系。

2.1 图像坐标系转换

图1所示为建立在相机成像平面上的坐标系,即图像像素坐标系O'uv,是直接从照片中获取的信息,反映了图像像素点阵的分布。此坐标系的原点规定在显示图片的左上角,单位为pixel。而图像物理坐标系O₁xy是用来直接向摄像机坐标系转换的。

图 1. 图像像素坐标系

Fig. 1. Image pixel coordinate system

下载图片查看所有图片

图像物理坐标系的原点O'为摄像机光轴与成像平面的交点,其在图像坐标系下的坐标为(u₀,v₀),u₀和v₀可通过内参矩阵得到。

通过分析两坐标系关系可以得出:

\begin{matrix} \{\begin{matrix} u = u_{0} + \frac{x}{dx} \\ v = v_{0} + \frac{y}{dy} \end{matrix}, (1) \end{matrix}

式中dx、dy分别为x轴和y轴方向上像素的单位宽度,单位为mm,u和v分别为图像像素坐标系下的坐标。

运用齐次坐标将转换关系写成矩阵形式,图像物理坐标(x,y)与图像像素坐标(u,v)的转换关系如下:

\begin{matrix} [\begin{matrix} u \\ v \\ 1 \end{matrix}] = [\begin{matrix} 1 / dx & 0 & u_{0} \\ 0 & 1 / dy & v_{0} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} x \\ y \\ 1 \end{matrix}] 。 (2) \end{matrix}

为了便于将图像像素坐标直接转换为图像物理坐标,转换关系写成如下形式:

\begin{matrix} [\begin{matrix} x \\ y \\ 1 \end{matrix}] = [\begin{matrix} dx & 0 & - u_{0} dx \\ 0 & dy & v_{0} dy \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} u \\ v \\ 1 \end{matrix}] 。 (3) \end{matrix}

只要求出上述坐标转换矩阵即可将成像平面上的点从图像像素坐标转换为图像物理坐标,而坐标转换矩阵可以通过内参矩阵得到。

通过对摄像机进行标定,得到内参矩阵:

\begin{matrix} A = [\begin{matrix} f / dx & 0 & u_{0} \\ 0 & f / dy & v_{0} \\ 0 & 0 & 1 \end{matrix}], (4) \end{matrix}

式中f为相机焦距。通过标定计算出的内参矩阵无法直接得到f、dx和dy的值,而是得到f/dx和f/dy的值。

求其逆矩阵:

\begin{matrix} A^{- 1} = [\begin{matrix} fdx & 0 & - u_{0} dx \\ 0 & fdy & v_{0} dy \\ 0 & 0 & 1 \end{matrix}] 。 (5) \end{matrix}

为了得到(3)式中的转换矩阵,需将矩阵A^-1中的元素fdx和fdy分别变为dx和dy,即对A^-1右乘一个矩阵,表示为

\begin{matrix} [\begin{matrix} x \\ y \\ 1 \end{matrix}] = A^{- 1} [\begin{matrix} \frac{1}{f} & 0 & 0 \\ 0 & \frac{1}{f} & 0 \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} u \\ v \\ 1 \end{matrix}] = [\begin{matrix} fdx & 0 & - u_{0} dx \\ 0 & fdy & v_{0} dy \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} \frac{1}{f} & 0 & 0 \\ 0 & \frac{1}{f} & 0 \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} u \\ v \\ 1 \end{matrix}] 。 (6) \end{matrix}

2.2 平面坐标系转换为空间坐标系

空间坐标系即摄像机坐标系,本模型中此坐标系的建立是以左眼光心为原点,Z轴与相机光轴平行,如图2所示。

图 2. 摄像机坐标系的建立

Fig. 2. Establishment of camera coordinate system

下载图片查看所有图片

建立摄像机坐标系后,将成像平面上的二维点(x₀,y₀)转化为摄像机坐标系下的三维点(X₀,Y₀,Z₀)。

\begin{matrix} \{\begin{matrix} X_{0} = x_{0} \\ Y_{0} = y_{0} \end{matrix} 。 (7) \end{matrix}

图3中W为物距,I为像距,f为焦距。三个参数的数学关系为

\begin{matrix} \frac{1}{f} = \frac{1}{W} + \frac{1}{I} 。 (8) \end{matrix}

由(8)式可知,在小孔成像模型中,当W≫f时,I≈f。故本文中像距即为焦距,则小孔模型中光心到成像平面的垂直距离为焦距f,如图2所示,即得到:

\begin{matrix} Z_{0} = f 。 (9) \end{matrix}

图 3. 相机小孔模型

Fig. 3. Camera pinhole model

下载图片查看所有图片

本文中摄像机坐标系是指双目模型中以左眼摄像机坐标系作为系统整体坐标系,故需将右眼坐标系下的点统一在左眼坐标系下,坐标系的转换采用平移关系和旋转关系来进行统一。

将右眼摄像机坐标系下的P₁点坐标(X₁,Y₁,Z₁)转换为左眼摄像机坐标系下的坐标P₀(X₀,Y₀,Z₀),计算过程如下所示:

\begin{matrix} [\begin{matrix} X_{0} \\ Y_{0} \\ Z_{0} \end{matrix}] = R [\begin{matrix} X_{1} \\ Y_{1} \\ Z_{1} \end{matrix}] + T 。 (10) \end{matrix}

理想状态下,右眼摄像机坐标系相对于左眼摄像机坐标系的旋转矩阵R为单位阵,表示为

\begin{matrix} R = [\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{matrix}] 。 (11) \end{matrix}

右眼摄像机坐标系相对于左眼摄像机坐标系的平移矩阵为

\begin{matrix} T = [\begin{matrix} t_{x} \\ t_{y} \\ t_{z} \end{matrix}], (12) \end{matrix}

式中t_x、t_y、t_z分别为三个方向上的平移分量。

3 测量原理

考虑到成像质量及便于聚焦等因素,相机镜头为多个凹、凸透镜的组合,而透镜组合可以等效为一个凸透镜,即将相机等效为简单的小孔成像模型^[16]。

3.1 传统的双目测距模型

传统的双目测距模型^[2]如图4所示,O₁和O₂分别为左右相机的光心,空间点P在两个成像平面的投影分别为P₁点和P₂点,x₁和x₂分别为成像点P₁和P₂在摄像机坐标系下的横坐标,Z为P点深度,B为基线长度。

根据相似三角形的原理可以得到以下关系:

\begin{matrix} \frac{Z - f}{Z} = \frac{B - (x_{1} - x_{2})}{B} \Rightarrow Z = \frac{B \times f}{x_{1} - x_{2}}, (13) \end{matrix}

式中x₁-x₂=d称为视差,代表目标点P在双目成像平面上成像点的对应关系。由(13)式可知,传统的双目测距方法必须通过同步的特征点来求得视差信息,进而可以求出目标点在真实世界中的深度信息。

3.2 无需双目同步的测距模型

当目标做直线运动时,本文提出了一种无需双目同步的测距方法。不同于传统的双目测距方法利用同步特征点的视差来求得目标深度信息的方式,本文方法利用成像过程中映射平面与映射直线的空间关系来确定目标在真实世界中的坐标。

根据光沿直线传播以及空间中三点确定一平面的原理,做直线运动的目标在成像时,每个小孔成像模型中两个不同位置的目标点与光心可形成一个空间映射平面,直线轨迹即为两个空间映射平面的相交直线。根据目标点与成像点的映射关系,每个小孔成像模型中由两个不同的成像点与光心即可确定空间映射平面方程,进而可以求出两平面相交的空间直线方程,此空间直线便是目标直线运动轨迹。

双目相机可以选择不同的点对确定空间映射平面,无需双目同步与特征点匹配,通过成像点对与相机光心即可确定映射平面。如图5所示,直线A₁D₁为目标运动轨迹,A、B两点分别为左眼相机成像平面上目标位于A₁点和B₁点时的成像点,C、D两点分别为左眼相机成像平面上目标位于C₁点和D₁点时的成像点。A、B点和左眼光心O₁确定左眼映射平面,C、D点和右眼光心O₂确定右眼映射平面,两平面相交即得出目标直线轨迹。如图5中直线O₁A与轨迹直线相交求出A₁点坐标,同理求出B₁、C₁和D₁的坐标,进而求出各目标点距离光心的距离。

图 4. 双目测距模型

Fig. 4. Binocular ranging model

下载图片查看所有图片

图 5. 测量原理图

Fig. 5. Schematic of measurement

下载图片查看所有图片

左眼各成像点在此坐标系下的坐标为A(X₁,Y₁,Z₁)、B(X₂,Y₂,Z₂)、O₁(X₃,Y₃,Z₃);同理可得右眼各成像点坐标为C(X₄,Y₄,Z₄)、D(X₅,Y₅,Z₅)、O₂(X₆,Y₆,Z₆)。

两组点分别确定出两个空间平面方程:

\begin{matrix} \begin{matrix} a_{1} x + b_{1} y + c_{1} z + d_{1} = 0, (14) \\ a_{2} x + b_{2} y + c_{2} z + d_{2} = 0, (15) \end{matrix} \end{matrix}

式中系数分别为a₁=(Z₃-Z₁)(Y₁-Y₂)-(Z₂-Z₁)(Y₃-Y₁),b₁=(Z₂-Z₁)(X₃-X₁)-(X₂-X₁)(Z₃-Z₁),c₁=(X₂-X₁)(Y₃-Y₁)+(Y₂-Y₁)(X₃-X₁),d₁=-a₁X₁-b₁X₁-c₁Z₁。

a₂=(Z₆-Z₄)(Y₄-Y₅)-(Z₅-Z₄)(Y₆-Y₄),b₂=(Z₅-Z₄)(X₆-X₄)-(X₅-X₄)(Z₆-Z₄),c₂=(X₅-X₄)(Y₆-Y₄)+(Y₅-Y₄)(X₆-X₄),d₂=-a₂X₄-b₂X₄-c₂Z₄。

利用(14)式和(15)式直接确定出交面式空间直线方程:

\begin{matrix} \{\begin{matrix} a_{1} x + b_{1} y + c_{1} z + d_{1} = 0 \\ a_{2} x + b_{2} y + c_{2} z + d_{2} = 0 \end{matrix} 。 (16) \end{matrix}

为便于求交点,需将轨迹直线方程交面式转化为参数式方程:

\begin{matrix} \{\begin{matrix} x = u_{1} t + x_{1} \\ y = u_{2} t + y_{1} \\ z = u_{3} t + z_{1} \\ U = [u_{1}, u_{2}, u_{3}] \end{matrix}, (17) \end{matrix}

式中U为目标轨迹直线参数式方程的方向向量,u₁、u₂和u₃为向量U的坐标,t为此方程的参数,(x₁,y₁,z₁)为过此直线的一点的坐标。

直线O₁A参数式方程为

\begin{matrix} \{\begin{matrix} x = v_{1} t + x_{2} \\ y = v_{2} t + y_{2} \\ z = v_{3} t + z_{2} \\ V = [v_{1}, v_{2}, v_{3}] \end{matrix}, (18) \end{matrix}

式中V为直线O₁A参数式方程的方向向量,v₁、v₂和v₃为向量V的坐标,t为此方程的参数,(x₂,y₂,z₂)为过此直线的一点的坐标。

联立(17)式和(18)式,求出参数t,代入任意方程可求出交点A₁的坐标,同理可求出A₁点、C₁点和D₁点的坐标。如图6所示。

图 6. 成像点映射直线示意图

Fig. 6. Schematic of imaging point mapping line

下载图片查看所有图片

4 实验分析

利用本文算法对目标进行测距,双目相机采用高速相机(CR450x3,Optronis,德国),分辨率为1024 pixel×1024 pixel,像素大小为14 μm,并采用鱼眼镜头(FE185C086HA-1,Fujinon,日本),定焦距为2.7 mm。双目相机位置固定且光轴平行,沿某一直线方向移动目标并对其进行连续的图片采集。编写C++程序使鼠标可以读取图片中目标的像素坐标,利用C++程序与Matlab处理后续计算过程。

对目标进行测量之前,需要利用张定友标定法进行单目标定获取左右相机的内参数^[17]。

左眼内参矩阵为

\begin{matrix} [\begin{matrix} 338.3440863106716 & 0 & 819.8882840599981 \\ 0 & 338.1787591012085 & 878.2504435331765 \\ 0 & 0 & 1 \end{matrix}] 。 (19) \end{matrix}

右眼内参矩阵为

\begin{matrix} [\begin{matrix} 337.4309431543956 & 0 & 823.3470548236395 \\ 0 & 337.6586125010406 & 863.2701461564926 \\ 0 & 0 & 1 \end{matrix}] 。 (20) \end{matrix}

理想的透视模型是小孔成像模型,物和像满足相似三角形的关系。但实验中实际采用的是鱼眼镜头,该透镜并不能满足物和像呈相似三角形的关系,故而相机图像平面上实际所成的像与理想成像之间会存在畸变。去畸变也将对测量结果产生重要的影响,为了最大程度地还原小孔成像模型,使用OpenCv3.0中的fisheye::undistortion函数对图片进行去畸变预处理。实验结果如图7所示。

图 7. 图片去畸变。(a)处理前;(b)处理后

Fig. 7. Undistort image. (a) Before processing; (b) after processing

下载图片查看所有图片

实验中利用手机光源模拟被测目标进行直线运动,沿某一方向等距离采集目标图像,如图7(a)所示。连续采集8组图片,并读取目标成像点在8组图片中左眼和右眼的像素坐标。利用本文方法来测量目标与左眼摄像机光心的距离,并与目标实际距离进行对比分析,距离和像素坐标如表1所示。

表 1. 目标实际距离和坐标

Table 1. Actual distance and coordinates of the target

No.	Left eye pixelcoordinate /pixel	Right eye pixelcoordinate /pixel	Actualcoordinate /mm	Actualrange /mm
1	840,918	719,902	[0,-540,-4500]	4532.3
2	840,920	701,904	[0,-540,-4000]	4036.3
3	840,927	683,911	[0,-540,-3500]	3541.4
4	840,937	656,920	[0,-540,-3000]	3048.2
5	840,948	619,932	[0,-540,-2500]	2557.7
6	840,967	560,950	[0,-540,-2000]	2071.6
7	840,999	476,978	[0,-540,-1500]	1594.2
8	840,1062	316,1020	[0,-540,-1000]	1136.5

查看所有表

利用所述测距原理,左眼选两组成像点,记作A点和B点。右眼选两组成像点,且无需与左眼同步选取,记作C点和D点。对于单个相机成像模型,求出所选取成像点与相机光心组成的平面方程,进而求出双目相机两空间平面的相交直线方程。此直线方程即为目标的直线运动轨迹,而由成像点与光心确定的直线与直线轨迹的交点即为目标点坐标,成像点A点、B点、C点和D点所对应的目标点分别为A₁点、B₁点、C₁点和D₁点。

例如,从表1中选取A点坐标(840,918),B点坐标(840,1062),C点坐标(656,920),D点坐标(619,932),并运用Matlab模拟出上述计算过程如图8所示。

对于所采集的全部目标点,经过所述算法可以直接得到A₁点、B₁点、C₁点和D₁点的坐标,剩余的目标点同样通过其对应成像点与光心点确定的直线相交于轨迹直线来得到。采集的全部目标点测量结果如表2所示。

图 8. 目标点坐标测量

Fig. 8. Target point coordinate measurement

下载图片查看所有图片

表 2. 测量数据

Table 2. Data of measurement

No.	Coordinate measurementresult /mm	Measuringdistance /mm	Actualdistance /mm	Error /mm	Errorrate /%
1	[-252.81,-499.91,-4253.07]	4289.81	4532.3	242.49	5.35
2	[-111.24,-528.55,-1871.40]	1947.78	4036.3	2084.52	51.74
3	[-194.125,-511.78,-3265.80]	3311.36	3541.4	230.04	6.50
4	[-182.112,-514.21,-3063.71]	3111.89	3048.2	63.69	8.64
5	[-151.99,-520.30,-2557.06]	2613.88	2557.7	56.18	2.20
6	[-66.57,-537.59,-1119.89]	1244.02	2071.6	827.58	39.94
7	[-78.92,-535.09,-1327.63]	1453.58	1594.2	140.62	10.08
8	[-58.98,-539.12,-992.22]	1130.76	1136.5	5.74	0.51

查看所有表

由表2可知,应用本文方法进行直线测距时,选作构成映射平面的1号、8号、4号和5号目标点测量误差相对较小,其他组的点测量误差大。

据此,改进思路为:测量结果只取选作构成映射平面的目标点,如表2中只取1号、8号、4号和5号作为有效测量结果。对于所采集的8组目标点,对左右相机图像取遍全部的点对组合,共有组合方式:

\begin{matrix} C_{8}^{2} \times C_{8}^{2} = 784 。 (21) \end{matrix}

遍历8组点对组合方式作为输入将得到784个测量结果,其中同一个目标点有98个测量结果,对其取算术平均值,结果如表3所示。

表 3. 修正后的目标测距比较

Table 3. Comparison of corrected target ranging

No.	Coordinate measurementresult /mm	Measuringdistance /mm	Actualdistance /mm	Error /mm	Errorrate /%
1	[-268.28,-523.94,-4513.39]	4551.62	4532.3	19.32	0.43
2	[-244.29,-501.60,-4109.87]	4147.57	4036.3	111.27	2.76
3	[-212.33,-509.78,-3572.13]	3614.57	3541.4	73.17	2.01
4	[-178.71,-513.37,-3006.45]	3055.20	3048.2	7.00	0.23
5	[-149.78,-516.23,-2519.79]	2576.48	2557.7	18.78	0.73
6	[-118.18,-516.18,-1988.22]	2057.53	2071.6	14.07	0.68
7	[-89.11,-521.96,-1499.08]	1589.90	1594.2	4.30	0.27
8	[-60.48,-509.82,-1017.45]	1140.21	1136.5	3.71	0.33

查看所有表

由表3可知,误差已达到让人满意的程度。

因Matlab的自带标定工具箱与OpenCv库函数的高度集成性,沈彤等^[8]的测距方法实际应用最为广泛,使用此方法对本实验中的目标进行测量,与表3结果进行对照。结果如表4所示。

表 4. 双目立体测距结果

Table 4. Results of binocular stereoscopic ranging

No.	Coordinate measurementresult /mm	Measuringdistance /mm	Actualdistance /mm	Error /mm	Errorrate /%
1	[227.47,-495.67,-4532.36]	4565.05	4532.3	32.75	0.72
2	[203.84,-510.46,-4061.47]	4098.49	4036.3	62.19	1.54
3	[180.41,-530.01,-3594.63]	3637.97	3541.4	96.57	2.73
4	[153.88,-535.47,-3066.01]	3116.22	3048.2	68.02	2.23
5	[128.65,-531.36,-2563.38]	2621.03	2557.7	63.33	2.48
6	[80.87,-549.62,-2057.45]	2131.13	2071.6	59.53	2.87
7	[78.48,-562.33,-1563.66]	1663.55	1594.2	69.35	4.35
8	[76.53,-585.08,-1063.72]	1216.42	1136.5	79.92	7.03

查看所有表

传统的双目测距方法实际操作分为4个步骤^[2]:相机标定、双目校正、双目特征点匹配,以及计算深度信息。对于特征点匹配过程,Hsu等^[9]所使用的SURF算法为领域内所熟知的经典算法,所以选用此算法作为传统的双目测距方法中的特征点匹配算法,对本实验中的目标进行特征点匹配,进而得到视差信息来测距。匹配结果如图9所示。

图 9. 特征点匹配结果

Fig. 9. Results of feature point matching

下载图片查看所有图片

由图9可知,图像背景中复杂的光照条件干扰了目标的特征点匹配,为了得到视差信息,需要对图片进行处理,去除背景的光线对目标特征点匹配的影响,且只对图像中的感兴趣区域(ROI)进行特征点匹配。

图 10. ROI特征点匹配结果

Fig. 10. Results of feature point matching in ROI

下载图片查看所有图片

图10中对ROI中的目标进行特征点匹配,得到目标点的视差信息,即x₁-x₂,从而利用(13)式得到目标的深度Z,目标测量结果如表5所示。

表 5. 测量结果

Table 5. Results of measurement

No.	Coordinate measurementresult /mm	Measuringdistance /mm	Actualdistance /mm	Error /mm	Errorrate /%
1	[226.23, -496.32,-4531.87]	4564.58	4532.3	32.28	0.71
2	[203.62,-509.85 ,-4059.98]	4096.93	4036.3	60.63	1.50
3	[160.01 ,-539.91 ,-3553.95]	3598.29	3541.4	56.89	1.61
4	[143.47,-535.88 ,-3055.99]	3105.93	3048.2	57.73	1.89
5	[128.45,-532.01,-2552.88]	2610.89	2557.7	53.19	2.08
6	[80.81,-542.79,-2047.48]	2119.75	2071.6	48.15	2.32
7	[72.78,-552.33,-1533.66]	1631.71	1594.2	37.51	2.35
8	[67.53,-564.08,-1028.75]	1175.19	1136.5	38.69	3.39

查看所有表

从表4和表5的测量结果可知,传统的测距方法测量误差随着测量目标距离的增大而增大,而本文方法无此规律,且在使用同一组图片对目标进行测距时,本文方法测量结果除第2、3组误差超过2%外,其余测量结果误差均低于2%。由图9可知,在使用SURF算法对本实验目标特征点进行匹配时,背景的复杂光照条件使目标的特征点匹配过程受到很大干扰。为了对目标特征点进行匹配,需要对图片进行处理从而对ROI进行特征点匹配,或另寻算法去除误匹配点,增加了计算与工作量。同时特征点匹配过程需要同步的左右眼图像,而在高速摄像条件下,图像帧数较多,同步匹配计算量很大,并且一旦某个位置的目标图像出现丢帧的情况,便无法通过左右眼图像的同步匹配来求出视差信息。与之相比,本文方法无双目匹配的步骤,从而可避免特征点匹配过程中的上述问题,从实验数据上看,测量结果也验证了本文方法的可行性。

为求得目标直线运动轨迹,将表3结果中各点坐标通过Matlab进行直线拟合,得到直线轨迹参数方程并与实际轨迹进行对比,如图11所示。

拟合直线参数方程为

\begin{matrix} \{\begin{matrix} x = 0.3510 t + 0.9603 \\ y = 0.9319 t + 1.7058 \\ z = 5.8881 t + 1.6992 \end{matrix}, (22) \end{matrix}

式中t为此直线方程的参数,(x,y,z)为此直线上的点,对应表3中的三维坐标。

图 11. 测量轨迹与实际轨迹对比

Fig. 11. Comparison of measured trajectory and actual trajectory

下载图片查看所有图片

由表3可知,其中最大的相对误差为2.76%,大部分点的相对误差未超过1%,证明了算法的可行性。综合分析误差产生的原因主要有:1) 映射平面的偏离而导致所求直线轨迹有误差;2) 像素坐标是手动使用鼠标点出,会存在一部分偏差。

5 结论

为了克服高速摄像条件下双目测距算法中左右眼对应特征点匹配困难的问题,在测量高速直线运动目标的背景下,提出了一种无需双目同步的空间直线轨迹测量方法。首先在双目系统中建立小孔成像模型和坐标系,在每个小孔成像模型中利用两个目标点与各自成像点的映射关系确定出了空间平面方程,双目系统中两空间平面的相交直线方程即为所测量目标的直线运动轨迹,成像点和光心确定的直线与轨迹直线的交点即为成像点所对应的目标点。所提方法的计算工作主要集中在求取空间映射平面方程以及相交直线方程,相对于特征点匹配过程其计算量较小,且进行测距时无需双目图像同步,解决了高速摄像条件下特征点匹配过程复杂、困难的问题。通过实验验证发现,所提方法测量构成映射平面的目标点时误差较小,并据此提出了改进思路。从修正数据来看,测量结果相对误差都较小,证明了算法的可行性。其中最大相对误差仅为2.76%,且大部分目标点相对误差未超过1%,证明了算法的有效性。不足之处在于,需要手动读取目标成像点像素坐标,故下一步的研究重点为自动识别目标并读取其像素坐标的算法。

参考文献

[1] 张献中, 高炳哲, 李桂芝, 等. 高速摄像实现高精度矢量脱靶量测量方法研究[J]. 光子学报, 2005, 34(3): 445-447.

Zhang X Z, Gao B Z, Li G Z, et al. Method research on high-accuracy survey of vector missing the target in shooting practice based on high-speed telecamera[J]. Acta Photonica Sinica, 2005, 34(3): 445-447.

[2] 马肖, 舒博伦, 李景春. 双目立体视觉测距技术[J]. 电子设计工程, 2016, 24(4): 81-83.

Ma X, Shu B L, Li J C. Binocular stereo range-measuring technology[J]. Electronic Design Engineering, 2016, 24(4): 81-83.

[3] 冯亮, 谢劲松, 李根, 等. 摄像机标定的原理与方法综述[J]. 机械工程师, 2016( 1): 18- 20.

FengL, Xie JS, LiG, et al. Review of camera calibration principles and methods[J]. Mechanical Engineer, 2016( 1): 18- 20.

[4] 肖静文, 青鑫月, 万琦. 基于Opencv与Matlab的双目测距系统研究[J]. 信息通信, 2015, 28(2): 21-23.

Xiao J W, Qing X Y, Wan Q. Binocular vision measuring system based on OpenCV and Matlab[J]. Information & Communications, 2015, 28(2): 21-23.

[5] Di HY, ShangQ, Wang SA. A virtual binocular vision range finding method of remote object based on single rotating angle indexing camera[C]∥Proceedings of 2009 9 th International Conference on Electronic Measurement & Instruments , 2009: 846- 849.

[6] Lai X B, Wang H S, Xu Y H. A real-time range finding system with binocular stereo vision[J]. International Journal of Advanced Robotic Systems, 2012, 9(1): 1-9.

[7] Xiong J, Zhong S D, Liu Y, et al. Automatic three-dimensional reconstruction based on four-view stereo vision using checkerboard pattern[J]. Journal of Central South University, 2017, 24(5): 1063-1072.

[8] 沈彤, 刘文波, 王京. 基于双目立体视觉的目标测距系统[J]. 电子测量技术, 2015, 38(4): 52-54.

Shen T, Liu W B, Wang J. Distance measurement system based on binocular stereo vision[J]. Electronic Measurement Technology, 2015, 38(4): 52-54.

[9] Hsu T S, Wang T C. An improvement stereo vision images processing for object distance measurement[J]. International Journal of Automation and Smart Technology, 2015, 5(2): 85-90.

[10] 姚海滨, 翁金平, 崔海华, 等. 基于特征点能量的双目立体匹配稳健算法[J]. 激光与光电子学进展, 2016, 53(2): 021501.

Yao H B, Weng J P, Cui H H, et al. Binocular stereo matching robust algorithm based on energy of marked points[J]. Laser & Optoelectronics Progress, 2016, 53(2): 021501.

[11] 狄红卫, 柴颖, 李逵. 一种快速双目视觉立体匹配算法[J]. 光学学报, 2009, 29(8): 2180-2184.

Di H W, Chai Y, Li K. A fast binocular vision stereo matching algorithm[J]. Acta Optica Sinica, 2009, 29(8): 2180-2184.

[12] 张丽娟, 杨进华, 姜雨彤, 等. 基于双目CCD测距的目标图像匹配算法研究[J]. 激光与光电子学进展, 2014, 51(9): 091002.

Zhang L J, Yang J H, Jiang Y T, et al. Research on target image matching algorithm for binocular CCD ranging[J]. Laser & Optoelectronics Progress, 2014, 51(9): 091002.

[13] MilaniS. Three-dimensional reconstruction from heterogeneous video devices with camera-in-view information[C]∥Proceedings of 2015 IEEE International Conference on Image Processing, 2015: 2050- 2054.

[14] Zhang JN, PanW, Shi HB, et al. Three-dimensional reconstruction method based on target recognition for binocular humanoid robot[C]∥Proceedings of 2016 International Conference on Progress in Informatics and Computing, 2016: 355- 359.

[15] Alonso J R, Fernández A, Ferrari J A. Reconstruction of perspective shifts and refocusing of a three-dimensional scene from a multi-focus image stack[J]. Applied Optics, 2016, 55(9): 2380-2386.

[16] 张鹏炜, 张智诠, 胡磊, 等. 基于针孔模型的双目视觉标定误差仿真分析[J]. 电光与控制, 2009, 16(12): 65-69.

Zhang P W, Zhang Z Q, Hu L, et al. Calibration error simulating analysis of binocular vision based on pinhole camera model[J]. Electronics Optics & Control, 2009, 16(12): 65-69.

[17] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

蔡成涛, 王峰. 基于双目相机的直线运动轨迹快速测量算法[J]. 激光与光电子学进展, 2019, 56(5): 051502. Chengtao Cai, Feng Wang. Fast Trajectory Measurement Algorithm for Linear Motion Based on Binocular Camera[J]. Laser & Optoelectronics Progress, 2019, 56(5): 051502.

基于双目相机的直线运动轨迹快速测量算法 下载： 1241次

1 引言

2 坐标系的建立及转换

2.1 图像坐标系转换

图 1. 图像像素坐标系

Fig. 1. Image pixel coordinate system

2.2 平面坐标系转换为空间坐标系

图 2. 摄像机坐标系的建立

Fig. 2. Establishment of camera coordinate system

图 3. 相机小孔模型

Fig. 3. Camera pinhole model

3 测量原理

3.1 传统的双目测距模型

3.2 无需双目同步的测距模型

图 4. 双目测距模型

Fig. 4. Binocular ranging model

图 5. 测量原理图

Fig. 5. Schematic of measurement

图 6. 成像点映射直线示意图

Fig. 6. Schematic of imaging point mapping line

4 实验分析

图 7. 图片去畸变。(a)处理前;(b)处理后

Fig. 7. Undistort image. (a) Before processing; (b) after processing

表 1. 目标实际距离和坐标

Table 1. Actual distance and coordinates of the target

图 8. 目标点坐标测量

Fig. 8. Target point coordinate measurement

表 2. 测量数据

Table 2. Data of measurement

表 3. 修正后的目标测距比较

Table 3. Comparison of corrected target ranging

表 4. 双目立体测距结果

Table 4. Results of binocular stereoscopic ranging

图 9. 特征点匹配结果

Fig. 9. Results of feature point matching

图 10. ROI特征点匹配结果

Fig. 10. Results of feature point matching in ROI

表 5. 测量结果

Table 5. Results of measurement

图 11. 测量轨迹与实际轨迹对比

Fig. 11. Comparison of measured trajectory and actual trajectory

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于双目相机的直线运动轨迹快速测量算法下载： 1241次