基于单目视觉和棋盘靶标的平面姿态测量方法

苏建东; 齐晓慧; 段修生

doi:doi:10.3788/AOS201737.0815002

光学学报, 2017, 37 (8): 0815002, 网络出版: 2018-09-07

基于单目视觉和棋盘靶标的平面姿态测量方法下载： 1276次

Plane Pose Measurement Method Based on Monocular Vision and Checkerboard Target

论文大纲

苏建东 ^1,*齐晓慧 ¹段修生 ²

作者单位

¹ 军械工程学院无人机工程系, 河北石家庄 050003

² 军械工程学院电子与光学工程系, 河北石家庄 050003

机器视觉视觉测量安装偏差 PnP问题姿态测量棋盘靶标 machine vision vision measurement installation deviation PnP problem pose measurement checkerboard target

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对平面目标姿态测量问题,提出了一种基于棋盘靶标的单目视觉测量方法,设计安装简单,在保证测量精度的同时简化了测量过程。首先,基于棋盘靶标对摄像机进行标定;然后,利用单应性条件得到外参矩阵,并利用Givens矩阵对外参矩阵进行分解,求得姿态角;最后,在靶标任意安装的情况下,基于旋转矩阵约束条件研究了安装偏差的自标定方法。实验结果表明:距离3 m时,在静态测量时垂直光轴方向姿态角的测量精度可达0.02°,其他两个姿态角的测量精度可达0.05°;动态测量时垂直光轴方向姿态角的测量精度可达0.1°,其他两个姿态角的测量精度可达0.5°。

Abstract

Aim

ing at the problem of plane target pose measurement, a monocular vision measurement method is proposed based on the checkerboard target. The method does not need to design and install complexly, and simplifies the measurement process while ensuring the measurement precision. Firstly, the camera is calibrated based on the checkerboard target. Then, to obtain the three pose angles, the external parameter matrix is solved by taking advantage of the homography condition, hereafter, it is decomposed with Givens matrix. Finally, when the target is installed arbitrarily the self-calibration method of the target installation deviations is studied based on the constraint conditions of the rotation matrix. Experimental results show that with a distance of 3 m, the static measurement precision of the pose angle which is perpendicular to the optical axis is 0.02°, and the measurement precision of two other pose angles is 0.05°. The dynamic measurement precision of the pose angle which is perpendicular to the optical axisis is 0.1°, and the measurement precision of two other pose angles is 0.5°.

1 引言

随着计算机技术的发展,单目视觉测量被广泛应用在航空、航海、航天、工业、**等不同的领域 ^{[
1
]} 。相比传统基于惯性器件的测量方法,单目视觉位姿测量具有非接触性、不受被测物体内部结构限制等优点,是目前的研究热点。

根据选取特征的不同,单目视觉位姿测量可以分为基于非合作目标位姿测量和基于合作目标位姿测量。非合作目标位姿测量的优点是测量系统较为简单、无需对被测空间物体进行处理,其难度在于如何快速、准确地提取目标上的特征 ^{[
2
-
3
]} ;与此相反,合作目标上的特征点是按照测量需求排布的,这在简化特征提取难度的同时提高了特征提取的精度,但这也相应地带来了对靶标制作和安装的要求高等问题,甚至有些场合无法设置合作目标。目前,基于合作目标的测量方法的研究最为广泛和成熟,其研究主要集中在靶标设计 ^{[
4
-
5
]} 、特征提取 ^{[
6
-
8
]} 、位姿解算方法 ^{[
9
-
12
]} 、位姿解算误差 ^{[
13
]} 等方面。应用过程中该方法往往需要高精度的靶标安装或是配合精密的光学系统 ^{[
14
-
15
]} ,这样才能达到很高的测量精度,大大限制了视觉测量的应用范围。因此,研究在靶标任意安装情况下的测量方法具有重要的实际价值。以往的研究中,由于靶标是被精密设计与安装的,因此靶标的安装偏差往往被忽略,然而在靶标任意安装的情况下,安装偏差必然导致测量精度的降低甚至测量失效,在此情况下研究靶标安装偏差的标定方法可以提高测量精度,降低靶标安装的技术要求,在一定程度上拓宽视觉测量的应用范围。

针对以上问题,本文提出了一种基于合作目标的单目视觉姿态测量方法,只需将常见的棋盘靶标任意地固连在待测目标上,便可进行高精度地测量,其具有靶标无需重新设计且制作简单、安装要求低、测量精度高等优点。该方法通过求解透视 n 点定位(PnP)问题得到每幅图像对应的内参矩阵和外参旋转矩阵,并利用Givens矩阵对外参旋转矩阵进行分解,从而求得靶标的3个姿态角。针对实际靶标安装存在的偏差进而影响测量精度这一问题,提出了一种安装偏差的自标定方法,在测量之前获取两组待测目标的受限运动图像即可得到3个安装偏差角。

2 摄像机成像模型及其标定

棋盘靶标在针孔成像模型下的成像过程如图1 所示。图1 定义了4个直角坐标系,其中 o_w-x_wy_wz_w 是世界坐标系; o_c-x_cy_cz_c 是摄像机坐标系, z_c 轴与相机镜头的光轴重合,摄像机坐标系可在世界坐标系的任意位置; o_p-x_py_p 是图像坐标系; o_b-x_by_bz_b 是以棋盘靶标所在的平面为 xy 面的三维直角坐标系,简称靶标坐标系,其随靶标姿态变化而变化。

图 1. 棋盘状靶标成像示意图

Fig. 1. Sketch map of imaging of checkerboard target

下载图片查看所有图片

靶标上任一角点 P 在靶标坐标系下的齐次坐标向量 P_b 与其投影点 p 在图像坐标系下的齐次坐标向量 P_p 满足如下关系

\begin{matrix} p_{p} = [\begin{matrix} x_{p} \\ y_{p} \\ 1 \end{matrix}] = s M_{1} M_{2} P_{b} = s [\begin{matrix} α_{x} & 0 & u_{0} \\ 0 & α_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} R & q \end{matrix}] [\begin{matrix} x_{b} \\ y_{b} \\ z_{b} \\ 1 \end{matrix}], (1) \end{matrix}

式中 s 为一比例因子, z_b= 0; M₁ 为摄像机内参矩阵; α _x 和 α _y 分别为相机镜头在 x 轴和 y 轴上的归一化焦距; u₀ 和 v₀ 则是光轴与成像面角点在图像坐标系下的偏移; M₂ 为外参矩阵,不同的靶标坐标系对应一个不同的外参矩阵; R 为旋转矩阵, q 为平移向量,设 R= [ r₁ , r₂ , r₃ ], q= [ q₁ , q₂ , q₃ ]。

对多幅棋盘靶标在不同姿态下的图像进行摄像机标定,即可求解出相机内参数。对于每一幅图像,靶标平面上的点与其像点之间建立了一个Homography映射,定义单应性矩阵为

\begin{matrix} H = [\begin{matrix} h_{1} & h_{2} & h_{3} \end{matrix}] = s M_{1} [\begin{matrix} r_{1} & r_{2} & q \end{matrix}] 。 (2) \end{matrix}

令 λ =1/ s ,分解(2)式得到

\begin{matrix} \{\begin{matrix} r_{1} = λ M_{1}^{- 1} h_{1} \\ r_{2} = λ M_{1}^{- 1} h_{2} \\ q = λ M_{1}^{- 1} h_{3} \end{matrix} 。 (3) \end{matrix}

根据正交矩阵的性质,对于每一幅图像可以得到约束方程

\begin{matrix} \{\begin{matrix} {r^{T}}_{1} r_{2} = {h^{T}}_{1} M_{1}^{- T} M_{1}^{- 1} h_{2} = 0 \\ {r^{T}}_{1} r_{1} = {h^{T}}_{1} M_{1}^{- T} M_{1}^{- 1} h_{1} = {h^{T}}_{2} M_{1}^{- T} M_{1}^{- 1} h_{2} = {r^{T}}_{2} r_{2} \end{matrix}, (4) \end{matrix}

这是摄像机内参的两个基本约束,令

\begin{matrix} B = M_{1}^{- T} M_{1}^{- 1} = [\begin{matrix} B_{11} & B_{12} & B_{13} \\ B_{21} & B_{22} & B_{23} \\ B_{31} & B_{32} & B_{33} \end{matrix}], (5) \end{matrix}

式中 B 是对称矩阵,可以表示为六维向量

\begin{matrix} b = [B_{11}, B_{12}, B_{22}, B_{13}, B_{23}, B_{33}]^{T} 。 (6) \end{matrix}

设 H 中的第 i 列向量为 h _i = [ h _i₁ , h _i₂ , h _i₃ ] ^T ,因此,有

\begin{matrix} {h^{T}}_{i} B h_{i} = {v^{T}}_{ij} b 。 (7) \end{matrix}

这样,约束方程就可以写成2个以 b 为未知数的齐次方程

\begin{matrix} [\begin{matrix} {v^{T}}_{12} \\ (v_{11} - v_{22})^{T} \end{matrix}] b = 0 。 (8) \end{matrix}

可见,只需3幅图像的方程,便可以解出 b ,那么摄像机内参数可以从 B 矩阵的封闭解中直接得到,计算如下

\begin{matrix} \{\begin{matrix} v_{0} = (B_{12} B_{13} - B_{11} B_{23} \frac{)}{(} B_{11} B_{22} - B_{12}^{2}) \\ λ = B_{33} - [B_{13}^{2} + v_{0} (B_{12} B_{13} - B_{11} B_{23})] / B_{11} \\ α_{x} = \sqrt[]{λ / B_{11}} \\ α_{y} = \sqrt[]{λ B_{11} / (B_{11} B_{22} - B_{12}^{2})} \\ r = - B_{12} α_{x}^{2} α_{y} / λ \\ u_{0} = v_{0} r / α_{y} - B_{13} α_{x}^{2} / λ \end{matrix} 。 (9) \end{matrix}

2 靶标位姿解算

对于每一幅图像,外参数可以由单应性条件计算得到,计算如下

\begin{matrix} \{\begin{matrix} r_{1} = λ M_{1}^{- 1} h_{1} \\ r_{2} = λ M_{1}^{- 1} h_{2} \\ r_{3} = r_{1} \times r_{2} \\ q = λ M_{1}^{- 1} h_{3} \end{matrix} 。 (10) \end{matrix}

测量时,首先采集初始零位置图像,以此作为测量基准,基准图像编号为0;然后采集待测姿态图像,其编号为 n ( n =1,2,3,…)。按照上述方法分别计算旋转矩阵 R₀ 和 R _n 。则由零位置至待测位置的旋转矩阵为

\begin{matrix} T = R_{n} R_{0}^{- 1} = (\begin{matrix} t_{11} & t_{12} & t_{13} \\ t_{21} & t_{22} & t_{23} \\ t_{31} & t_{32} & t_{33} \end{matrix}) = (t_{1}, t_{2}, t_{3}) 。 (11) \end{matrix}

理想条件下,不考虑安装偏差,选择合适的参数对该矩阵进行分解,便可求得3个姿态角 θ 、 ψ 、 ϕ ,如图2 所示。理想情形下,在初始零位置靶标平面与待测平面完全重合,靶标坐标系 o_b-x_by_bz_b 与世界坐标系 o_w-x_wy_wz_w 完全平行,靶标由初始零位置到待测位置的旋转可以按照 x_b 轴、 y_b 轴、 z_b 轴的顺序进行,每次旋转的角度即为3个姿态角 θ 、 ψ 、 ϕ 。旋转的数学表达为

\begin{matrix} T = G_{θ} G_{ψ} G_{ϕ}, (12) \end{matrix}

式中 G _θ = $\begin{matrix} (\begin{matrix} 1 & 0 & 0 \\ 0 & c_{1} & - s_{1} \\ 0 & s_{1} & c_{1} \end{matrix}) \end{matrix}$ , G _ψ = $\begin{matrix} (\begin{matrix} c_{2} & 0 & s_{2} \\ 0 & 1 & 0 \\ - s_{2} & 0 & c_{2} \end{matrix}) \end{matrix}$ , G _ϕ = $\begin{matrix} (\begin{matrix} c_{3} & - s_{3} & 0 \\ s_{3} & c_{3} & 0 \\ 0 & 0 & 1 \end{matrix}) \end{matrix}$ , c₁= cos θ , s₁= sin θ , c₂= cos ψ , s₂= sin ψ , c₃= cos ϕ , s₃= sin ϕ 。

图 2. 理想情况下靶标坐标系与世界坐标系的关系

Fig. 2. Relationship between target coordinate system and world coordinate system in ideal situation

下载图片查看所有图片

令

\begin{matrix} L = (l_{ij})_{3 \times 3} = T G_{ϕ}^{- 1} = (c_{3} t_{1} - s_{3} t_{2}, s_{3} t_{1} + c_{3} t_{2}, t_{3}) = G_{θ} G_{ψ}, (13) \end{matrix}

显然, L 的 l₃₂ 元素必然为0,即

\begin{matrix} s_{3} t_{13} + c_{3} t_{23} = 0 。 (14) \end{matrix}

可选取 c₃= $\begin{matrix} \frac{t_{13}}{\sqrt[]{t_{13}^{2} + t_{23}^{2}}} \end{matrix}$ , s₃=- $\begin{matrix} \frac{t_{23}}{\sqrt[]{t_{13}^{2} + t_{23}^{2}}} \end{matrix}$ 。此时, ϕ= arctan( s₃/c₃ )即为靶标绕 z 轴转过的角度。

同理,令 M= $\begin{matrix} (m_{ij})_{3 \times 3} \end{matrix}$ =L $\begin{matrix} G_{ψ}^{- 1} \end{matrix}$ , N= $\begin{matrix} (n_{ij})_{3 \times 3} \end{matrix}$ =M $\begin{matrix} G_{θ}^{- 1} \end{matrix}$ ,选取参数使得 m₃₁ 和 n₂₁ 为0,则 ψ= arctan( s₂/c₂ ), θ= arctan( s₁/c₁ )分别为靶标绕 y 轴和 x 轴转过的角度。

3 安装偏差角的自标定

实际测量过程中,在靶标任意安装的情况下,固定的安装偏差必然影响姿态解算的准确性,如何获得这些安装偏差是亟待解决的问题。由于坐标系平移不影响姿态关系,因此在初始零位置将靶标坐标系和世界坐标系原点平移到一点, 图3 所示为实际情形下二者的关系。

图 3. 实际情况下靶标坐标系与世界坐标系的关系

Fig. 3. Relationship between target coordinate system and world coordinate system in actual situation

下载图片查看所有图片

此时,世界坐标系可按 x_w 轴、 y_w 轴、 z_w 轴的顺序分别旋转 α 、 β 、 γ ,从而与靶标坐标系重合。作为其逆过程,靶标坐标系则需要按照 z_b 轴、 y_b 轴、 x_b 轴的顺序分别旋转- γ 、- β 、- α ,从而与世界坐标系重合。当待测平面到达待测位置后靶标平面又可按 x_b 轴、 y_b 轴、 z_b 轴的顺序分别旋转 α 、 β 、 γ ,从而恢复与待测平面的相对姿态关系,整个过程的数学表达为

\begin{matrix} T = G_{- γ} G_{- β} G_{- α} G_{θ} G_{ψ} G_{ϕ} G_{α} G_{β} G_{γ}, (15) \end{matrix}

式中 G _θ 、 G _ψ 、 G _ϕ 的定义与(12)式一致。

\begin{matrix} G_{α} = (\begin{matrix} 1 & 0 & 0 \\ 0 & a_{1} & - b_{1} \\ 0 & b_{1} & a_{1} \end{matrix}), G_{β} = (\begin{matrix} a_{2} & 0 & b_{2} \\ 0 & 1 & 0 \\ - b_{2} & 0 & a_{2} \end{matrix}), G_{γ} = (\begin{matrix} a_{3} & - b_{3} & 0 \\ b_{3} & a_{3} & 0 \\ 0 & 0 & 1 \end{matrix}), (16) \end{matrix}

式中 a₁= cos α , b₁= sin α , G _-α = $\begin{matrix} G_{α}^{- 1} \end{matrix}$ = $\begin{matrix} {G^{T}}_{α} \end{matrix}$ ,其他符号的定义规则与此相同。

如果待测平面做受限运动,只绕 x_w 轴转动 θ ,则(15)式可简化为

\begin{matrix} T = G_{- γ} G_{- β} G_{- α} G_{θ} G_{α} G_{β} G_{γ} = G_{- γ} G_{- β} G_{θ} G_{β} G_{γ}, (17) \end{matrix}

整理变换可得

\begin{matrix} G_{- β} G_{θ} G_{β} = G_{γ} T G_{- γ} 。 (18) \end{matrix}

(18)式的左边展开得

\begin{matrix} G_{- β} G_{θ} G_{β} = (\begin{matrix} a_{2}^{2} + c_{1} b_{2}^{2} & - b_{2} s_{1} & a_{2} b_{2} - a_{2} b_{2} c_{1} \\ b_{2} s_{1} & c_{1} & - a_{2} s_{1} \\ a_{2} b_{2} - a_{2} b_{2} c_{1} & a_{2} s_{1} & c_{1} a_{2}^{2} + b_{2}^{2} \end{matrix}), (19) \end{matrix}

令

\begin{matrix} W = G_{γ} T G_{- γ} = (\begin{matrix} w_{11} & w_{12} & w_{13} \\ w_{21} & w_{22} & w_{23} \\ w_{31} & w_{32} & w_{33} \end{matrix}), (20) \end{matrix}

其中

\begin{matrix} \{\begin{matrix} w_{11} = a_{3}^{2} t_{11} + b_{3}^{2} t_{22} - a_{3} b_{3} (t_{21} + t_{12}) \\ w_{12} = a_{3}^{2} t_{12} - b_{3}^{2} t_{21} + a_{3} b_{3} (t_{11} - t_{22}) \\ w_{13} = a_{3} t_{13} - b_{3} t_{23} \\ w_{21} = a_{3}^{2} t_{21} - b_{3}^{2} t_{12} + a_{3} b_{3} (t_{11} - t_{22}) \\ w_{22} = a_{3}^{2} t_{22} + b_{3}^{2} t_{11} + a_{3} b_{3} (t_{21} + t_{12}) \\ w_{23} = a_{3} t_{23} + b_{3} t_{13} \\ w_{31} = a_{3} t_{31} - b_{3} t_{32} \\ w_{32} = a_{3} t_{32} + b_{3} t_{31} \\ w_{33} = t_{33} \end{matrix}, (21) \end{matrix}

式中 W 为一旋转矩阵,共有9个元素,但自由度只有3个,因此其满足6个约束条件。 G _-β G _θ G _β 也为一旋转矩阵,但只有2个自由度,因此其满足7个约束条件。因此,矩阵 W 必然隐含一关于 γ 的约束方程。注意到理论上每一幅图像都可以得到一个约束方程,便可得唯一的确定 γ 。

由于 W 必然满足正交矩阵的6个约束条件,因此隐含的约束方程可以是下式中的任意一个。事实上,这4个约束方程式是等价的,1个成立其余3个必然成立。

\begin{matrix} \{\begin{matrix} w_{11} + w_{33} - w_{22} - 1 = 0 \\ w_{12} + w_{21} = 0 \\ w_{13} - w_{31} = 0 \\ w_{23} + w_{32} = 0 \end{matrix} 。 (22) \end{matrix}

然而,实际应用中发现,受限于成像噪声、摄像机模型精度、靶标运动精度等内、外因素的干扰,(22)式所列约束并不能严格等价,只能近似成立。不妨把几个约束条件全部设计到残差函数里,同时适当增加采集图像的数量。设第 k 幅图像的残差函数为

\begin{matrix} \{\begin{matrix} e_{k 1} (γ) = (t_{11} - t_{22}) co s^{2} γ + (t_{22} - t_{11}) si {n_{}}^{2} γ - 2 (t_{21} + t_{12}) co s_{} γ_{} si n_{} γ + t_{33} - 1 \\ e_{k 2} (γ) = (t_{12} + t_{21}) co s^{2} γ - (t_{12} + t_{21}) si {n_{}}^{2} γ + 2 (t_{11} - t_{22}) co s_{} γ_{} si n_{} γ \\ e_{k 3} (γ) = (t_{13} - t_{31}) co s_{} γ - (t_{23} - t_{32}) si n_{} γ \\ e_{k 4} (γ) = (t_{23} + t_{32}) co s_{} γ + (t_{13} + t_{31}) si n_{} γ \end{matrix}, (23) \end{matrix}

假设采集图像的数量为 n ,则总的残差函数表达式为

\begin{matrix} E (γ) = \overset{n}{\sum_{k = 1}} \overset{4}{\sum_{i = 1}} e_{ki}^{2} (γ) 。 (24) \end{matrix}

通过简单的一维优化算法便可得到 γ 的最优解。

求出 γ 后将其代入(17)式,则有

\begin{matrix} T_{1} = G_{γ} T G_{- γ} = G_{- β} G_{θ} G_{β}, (25) \end{matrix}

整理变换可得

\begin{matrix} G_{β} T_{1} G_{- β} = G_{θ}, (26) \end{matrix}

于是,按照(18)~(24)式的思路可求得 β 。

为了求得 α ,需将待测平面只绕 y_w 轴转动,采集图像,并将 β 、 γ 代入(15)式可得

\begin{matrix} T_{2} = G_{β} G_{γ} T G_{- γ} G_{- β} = G_{- α} G_{ψ} G_{α}, (27) \end{matrix}

整理变换可得

\begin{matrix} G_{α} T_{2} G_{- α} = G_{ψ}, (28) \end{matrix}

同样,按照(18)~(24)式的思路可求得 α 。

求出3个安装偏差角后,将其代入(15)式,即可对旋转矩阵 T 进行修正,精确解算从而得到3个姿态角。

4 实验

为了验证算法的可行性、分析算法精度,进行如下实验:第一组实验为仿真实验;第二组为静态测量实验;第三组为动态测量实验。

4.1 仿真实验

基于C++Builder平台,开发了一套仿真实验系统,其主要功能是在不考虑镜头畸变、图像噪声以及待测平面运动机械误差的情况下,利用摄像机成像原理,输入一组姿态量得到一幅仿真图像,用以代替实测图像,并应用本文方法解算出仿真图像对应的姿态信息,通过解算量和输入量的对比便可得本文方法的测量精度。仿真实验结果如表1 所示。

表 1. 仿真实验结果

Table 1. Results of simulation experiment(°)

No.	Input value			Measured value			Error
No.	θ	ψ	ϕ	θ	ψ	ϕ	θ	ψ	ϕ
1	1	2	3	0.99	2.05	3.01	-0.01	0.05	0.01
2	3	6	9	3.01	5.97	9.03	0.01	-0.03	0.03
3	5	10	15	4.97	10.04	14.97	-0.03	0.04	-0.03
4	7	14	21	7.05	14.04	21.02	0.05	0.04	0.02
5	9	18	27	9.05	18.05	27.03	0.05	0.05	0.03

查看所有表

由表1 可知,该方法的仿真测量精度可达0.05°。如果仿真过程中得不到仿真图像,而是直接利用仿真计算的角点坐标去解算姿态,得到的是姿态的理论值,其实验结果如表2 所示。

表 2. 理论实验结果

Table 2. Results of theoretical experiment(°)

No.	Input value			Measured value			Error
No.	θ	ψ	ϕ	θ	ψ	ϕ	θ	ψ	ϕ
1	1	2	3	1.00001	2.00000	3	0.00001	0	0
2	3	6	9	3.00001	5.99999	9	0.00001	-0.00001	0
3	5	10	15	5.00001	9.99998	15	0.00001	-0.00002	0
4	7	14	21	7.00000	14.00000	21	0	0	0
5	9	18	27	9.00000	18.00000	27	0	0	0

查看所有表

由表2 可知,理论实验的误差几乎为0。分析不难发现:计算机绘制仿真图像时,只能按照像素整数绘制,这与实际图像有很大区别,二者的不同如图4 所示。事实上,由仿真图像只能得到像素级的角点坐标,从而影响了测量精度。

图 4. 实际图像角点和仿真图像角点对比。(a)实际图像角点;(b)仿真图像角点

Fig. 4. Comparison of actual image corner and simulation image corner. (a) Actual image corner; (b) simulation image corner

下载图片查看所有图片

4.2 静态测量实验

在实验室内搭建的实验系统如图5 所示,实验平台主要由三轴转台和摄像机组成。其中三轴转台的型号为3TD-350,其精度可达0.00005°。摄像机选择的是BaumerTXG12(1296 pixel×966 pixel),镜头型号为PENTAX H1214-M,摄像机距离三轴转台3 m。根据图2 中所建坐标系,世界坐标系的 x_w 轴、 y_w 轴、 z_w 轴分别对应三轴转台的外框转轴、中框转轴和内框转轴,其转过的角度分别为 θ 、 ψ 、 ϕ 。

图 5. 单目视觉姿态测量实验系统

Fig. 5. Experimental system of monocular vision pose measurement

下载图片查看所有图片

静态实验中用转台控制器控制三轴转台到待测位置,待三轴转台稳定后拍摄一副图像并计算当前位姿, 表3 给出了几组不同姿态下的静态测量结果。为了分析静态测量的误差分布,在同一待测位置连续拍摄10幅图像,得到10组不同的位姿解算量,以此分析静态测量的精度及误差分布。表4 给出了一组同一姿态下静态实验结果,该组实验中转台控制器给出的待测位置参考值为 θ =25.00°, ψ =15.00°, ϕ =10.00°。表5 是该组实验结果的误差分布。

表 3. 不同姿态下静态实验结果

Table 3. Static experimental results under different poses(°)

No.	Standard value			Measured value			Error
No.	θ	ψ	ϕ	θ	ψ	ϕ	θ	ψ	ϕ
1	5.00	40.00	0.00	4.97	39.95	0.01	-0.03	-0.05	0.01
2	10.00	30.00	30.00	10.03	30.04	30.02	0.03	0.04	0.02
3	20.00	20.00	60.00	20.04	19.98	60.01	0.04	-0.02	0.01
4	30.00	10.00	130.00	29.96	9.96	130.02	-0.04	-0.04	0.02
5	40.00	0.00	170.00	40.05	0.03	169.99	0.05	0.03	-0.01

查看所有表

表 4. 同一姿态下静态实验结果

Table 4. Static experimental results under same poses(°)

No.	Error				No.	Error
No.		θ	ψ	ϕ		θ	ψ	ϕ
1	0.02	0.02	-0.00		6	-0.02	0.03	-0.00
2	-0.05	-0.05	-0.00		7	0.02	0.02	-0.00
3	0.03	-0.02	0.01		8	-0.01	-0.02	0.01
4	0.04	0.04	0.01		9	0.02	0.04	0.01
5	0.02	-0.01	-0.01		10	-0.03	-0.05	0.01

查看所有表

表 5. 同一姿态下静态实验结果误差分布

Table 5. Error distribution of static experimental results under same poses(°)

	Maximum absolute error	Standard deviation
θ	0.05	0.03
ψ	0.05	0.03
ϕ	0.01	0.01

查看所有表

由表3 ~5可知,摄像机距离靶标3 m时,姿态角 θ 和 ψ 的静态测量最大误差绝对值不超过0.05°, ϕ 的静态测量最大误差绝对值不超过0.02°。同一位置,短时间重复测量,其误差是随机分布的。

为了研究测量精度和距离的关系,做如下实验:固定靶标在同一待测位置,改变摄像机和靶标间的距离,由此得到距离对测量精度的影响。实验中从1.5 m处开始每间隔0.3 m选取一个测量点,共选取10个,靶标的姿态则始终为 θ= 25 ° , ψ= 14 ° , ϕ= 10 ° 。由于测量的随机性,单次测量结果很难反映误差的变化趋势,因此,在每个测量点重复测量10次,取10次误差的最大绝对值,实验结果如图6 所示。

图 6. 测量精度与距离的关系

Fig. 6. Relationship between measurement precision and distance

下载图片查看所有图片

由图6 可知,随着距离的增大,测量误差也越来越大,这是因为距离增大后靶标在摄像机图像中变小,导致棋盘靶标的角点检测精度下降,进而影响测量精度。

4.3 动态测量实验

动态实验中用转台控制器控制3个转轴同时做连续转动,以转台控制器给出的数值为基准,分析单目视觉测量的结果。实验中摄像机距棋盘靶标3 m, 图7 分别给出了3个姿态角的测量误差。

图 7. 距离3 m时动态测量误差。(a)待测角度基准值;(b)外框测量误差;(c)中框测量误差;(d)内框测量误差

Fig. 7. Error of dynamic measurement when distance is 3 m. (a) Measured reference value; (b) errors of outer frame; (c) errors of middle frame; (d) errors of inner frame

下载图片查看所有图片

由图7 可知,距离3 m时,除个别点外,外框和中框的测量精度可达0.5°,内框的测量精度可达0.1°。动态测量误差明显大于静态测量误差,分析认为这是由于动态测量时,在摄像机曝光时间内靶标仍然运动,这造成了图像的退化,影响了角点的提取精度,进而导致了测量精度的降低。同时,外框和中框的测量精度要劣于内框的测量精度,这是摄像机摆放位置造成的,如图5 所示,内框转动时棋盘靶标是近似垂直于光轴方向运动的,而外框和中框转动时棋盘靶标均有沿光轴方向的运动分量,而单目视觉对景深信息不敏感,这必然导致外框和中框测量精度的降低。此外,内框测量精度不受待测角度大小的影响,而外框和中框的测量精度随着待测角度增大而降低,事实上当外框或中框转过角度大于45°时,很难保证0.5°的测量精度,这是因为当外框或中框转动过大角度会导致棋盘靶标的投影面积迅速减小,影响了成像质量。

静态测量时,随着摄像机和棋盘靶标间的距离的增大,测量误差也会增大,动态测量也应遵守这一规律,为验证这一想法,在摄像机距离棋盘靶标4.5 m时重复上述实验,其结果如图8 所示。由图8 可知,当距离为4.5 m时,其精度低于距离为3 m时的精度。除个别点外,外框和中框的测量精度可达0.8°,内框的测量精度可达0.15°。

图 8. 距离4.5 m时动态测量误差。(a)待测角度基准值;(b)外框测量误差;(c)中框测量误差;(d)内框测量误差

Fig. 8. Error of dynamic measurement when distance is 4.5 m. (a) Measured reference value; (b) errors of outer frame; (c) errors of middle frame; (d) errors of inner frame

下载图片查看所有图片

5 结论

提出了一种基于单目视觉和棋盘靶标的平面目标位姿测量方法,其意义在于无需借助外部设备便可实现靶标安装偏差的自标定,实现了对待测目标姿态的静态测量和动态测量。文中方法可使靶标任意地安装,从而降低了视觉测量方法的应用要求,在保证测量精度的同时简化了测量过程,进一步拓展了单目视觉测量的应用范围。研究发现:无论是静态测量还是动态测量,也无论测量距离大小,垂直光轴的姿态角测量精度总是明显高于其他两个姿态角。这一实验结果和文献[ 16 ]提出的沿摄像机光轴方向上的位移测量精度一般远低于垂直光轴方向上的位移测量精度的结论一致。此外,对比动、静态实验结果可知,特征点的提取精度是影响测量结果的关键因素,这也为下一步研究指明了方向:可对动态测量中的图像退化问题展开深入研究,以进一步提高动态测量的精度。

参考文献

[1] 赵连军 . 基于目标特征的单目视觉位置姿态测量技术研究 [D]. 成都: 中国科学院光电技术研究所 , 2014 .

赵连军 . 基于目标特征的单目视觉位置姿态测量技术研究 [D]. 成都: 中国科学院光电技术研究所 , 2014 .

ZhaoLianjun . Research on mono-vision pose measurement based on features of target[D]. Chengdu: Institute of Optics and Electronics,Chinese Academy of Sciences , 2014 .

[2] Du X D, Liang B, Xu W F, et al. Pose measurement of large non-cooperative satellite based on collaborative cameras[J]. Acta Astronautica, 2011, 68(11): 2047-2065.

Du X D, Liang B, Xu W F, et al. Pose measurement of large non-cooperative satellite based on collaborative cameras[J]. Acta Astronautica, 2011, 68(11): 2047-2065.

[3] 赵连军, 刘恩海, 张文明, 等. 利用全局信息提取靶标特征的方法[J]. 光学学报, 2014, 34(4): 0415001.

赵连军, 刘恩海, 张文明, 等. 利用全局信息提取靶标特征的方法[J]. 光学学报, 2014, 34(4): 0415001.

Zhao Lianjun, Liu Enhai, Zhang Wenming, et al. Feature extraction of target based on global information[J]. Acta Optica Sinica, 2014, 34(4): 0415001.

[4] 初广丽 . 航天器合作靶标自动识别关键技术研究 [D]. 长春: 中国科学院长春光学精密机械与物理研究所 , 2015 .

初广丽 . 航天器合作靶标自动识别关键技术研究 [D]. 长春: 中国科学院长春光学精密机械与物理研究所 , 2015 .

ChuGuangli . Study on the key technologies of automatic identification for cooperative target on spacecraft[D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics,Chinese Academy of Sciences , 2015 .

[5] 段振云, 王宁, 赵文辉, 等. 基于点阵标定板的视觉测量系统的标定方法[J]. 光学学报, 2016, 36(5): 0515004.

段振云, 王宁, 赵文辉, 等. 基于点阵标定板的视觉测量系统的标定方法[J]. 光学学报, 2016, 36(5): 0515004.

Duan Zhenyun, Wang Ning, Zhao Wenhui, et al. Calibration method based on lattice calibration plate in vision measurement system[J]. Acta Optica Sinica, 2016, 36(5): 0515004.

[6] HarrisC , StephensM . A combined corner and edge detector[C]. Proceedings of the Fourth Alvey Vision Conference, Manchester , 1998 : 147 - 151 .

HarrisC , StephensM . A combined corner and edge detector[C]. Proceedings of the Fourth Alvey Vision Conference, Manchester , 1998 : 147 - 151 .

[7] 莫邵文, 邓新蒲, 王帅, 等. 基于改进视觉背景提取的运动目标检测算法[J]. 光学学报, 2016, 36(6): 0615001.

莫邵文, 邓新蒲, 王帅, 等. 基于改进视觉背景提取的运动目标检测算法[J]. 光学学报, 2016, 36(6): 0615001.

Mo Shaowen, Deng Xinpu, Wang Shuai, et al. Moving object detection algorithm based on improved visual background extractor[J]. Acta Optica Sinica, 2016, 36(6): 0615001.

[8] Zhao F Q, Wei C M, Wang J Z. An Automated X-Corner Detection Algorithm (AXDA)[J]. Journal of Software, 2011, 6(5): 791-797.

Zhao F Q, Wei C M, Wang J Z. An Automated X-Corner Detection Algorithm (AXDA)[J]. Journal of Software, 2011, 6(5): 791-797.

[9] Fishler M A, Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

Fishler M A, Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[10] 孙风梅, 王波. 关于PnP问题多解的分布与解的稳定性的讨论[J]. 自动化学报, 2010, 36(9): 1213-1219.

孙风梅, 王波. 关于PnP问题多解的分布与解的稳定性的讨论[J]. 自动化学报, 2010, 36(9): 1213-1219.

Sun Fengmei, Wang Bo. A note on the roots distribution and stability of the PnP problem[J]. Acta Automatic Sinica, 2010, 36(9): 1213-1219.

[11] 吴福朝, 胡占义. P n P问题的线性求解算法[J]. 软件学报, 2003, 14(3): 682-688.

吴福朝, 胡占义. P n P问题的线性求解算法[J]. 软件学报, 2003, 14(3): 682-688.

Wu Fuchao, Hu Zhanyi. A linear method for the P n P problem[J]. Journal of Software, 2003, 14(3): 682-688.

[12] 郭阳, 徐心和. 未标定摄像机P5P问题的一种解析解[J]. 计算机学报, 2007, 30(7): 1195-1200.

郭阳, 徐心和. 未标定摄像机P5P问题的一种解析解[J]. 计算机学报, 2007, 30(7): 1195-1200.

Guo Yang, Xu Xinhe. An analytic solution for the P5P problem with an uncalibrated camera[J]. Chinese Journal of Computers, 2007, 30(7): 1195-1200.

[13] 朱枫, 郝颖明, 周静, 等. 合作目标姿态对视觉位姿测量精度的影响分析[J]. 仪器仪表学报, 2007, 28(4): 130-134.

朱枫, 郝颖明, 周静, 等. 合作目标姿态对视觉位姿测量精度的影响分析[J]. 仪器仪表学报, 2007, 28(4): 130-134.

Zhu Feng, Hao Yingming, Zhou Jing, et al. The analysis of collaborative object attitude’s effect on visual pose’s accuracy[J]. Chinese Journal of Scientific Instrument, 2007, 28(4): 130-134.

[14] 陈至坤, 徐傲, 王福斌, 等. 基于单目视觉和圆结构光的目标姿态测量方法[J]. 应用光学, 2016, 37(5): 680-685.

陈至坤, 徐傲, 王福斌, 等. 基于单目视觉和圆结构光的目标姿态测量方法[J]. 应用光学, 2016, 37(5): 680-685.

Chen Zhikun, Xu Ao, Wang Fubin, et al. Pose measurement of target based on monocular vision and circle structured light[J]. Journal of Applied Optics, 2016, 37(5): 680-685.

[15] 孙鹏飞, 张求知, 李文强, 等. 单目多角度空间点坐标测量方法[J]. 仪器仪表学报, 2014, 35(12): 2801-2807.

孙鹏飞, 张求知, 李文强, 等. 单目多角度空间点坐标测量方法[J]. 仪器仪表学报, 2014, 35(12): 2801-2807.

Sun Pengfei, Zhang Qiuzhi, Li Wenqiang, et al. Monocular multi-angle measurement method for spatial point[J]. Chinese Journal of Scientific Instrument, 2014, 35(12): 2801-2807.

[16] 晁志超, 伏思华, 姜广文, 等. 单目摄像机-激光测距传感器位姿测量系统[J]. 光学学报, 2011, 31(3): 0312001.

晁志超, 伏思华, 姜广文, 等. 单目摄像机-激光测距传感器位姿测量系统[J]. 光学学报, 2011, 31(3): 0312001.

Chao Zhichao, Fu Sihua, Jiang Guangwen, et al. Mono camera and laser rangefinding sensor position-pose measurement system[J]. Acta Optica Sinica, 2011, 31(3): 0312001.

苏建东, 齐晓慧, 段修生. 基于单目视觉和棋盘靶标的平面姿态测量方法[J]. 光学学报, 2017, 37(8): 0815002. Jiandong Su, Xiaohui Qi, Xiusheng Duan. Plane Pose Measurement Method Based on Monocular Vision and Checkerboard Target[J]. Acta Optica Sinica, 2017, 37(8): 0815002.

基于单目视觉和棋盘靶标的平面姿态测量方法下载： 1276次

1 引言

2 摄像机成像模型及其标定

图 1. 棋盘状靶标成像示意图

Fig. 1. Sketch map of imaging of checkerboard target

2 靶标位姿解算

图 2. 理想情况下靶标坐标系与世界坐标系的关系

Fig. 2. Relationship between target coordinate system and world coordinate system in ideal situation

3 安装偏差角的自标定

图 3. 实际情况下靶标坐标系与世界坐标系的关系

Fig. 3. Relationship between target coordinate system and world coordinate system in actual situation

4 实验

4.1 仿真实验

表 1. 仿真实验结果

Table 1. Results of simulation experiment(°)

表 2. 理论实验结果

Table 2. Results of theoretical experiment(°)

图 4. 实际图像角点和仿真图像角点对比。(a)实际图像角点;(b)仿真图像角点

Fig. 4. Comparison of actual image corner and simulation image corner. (a) Actual image corner; (b) simulation image corner

4.2 静态测量实验

图 5. 单目视觉姿态测量实验系统

Fig. 5. Experimental system of monocular vision pose measurement

表 3. 不同姿态下静态实验结果

Table 3. Static experimental results under different poses(°)

表 4. 同一姿态下静态实验结果

Table 4. Static experimental results under same poses(°)

表 5. 同一姿态下静态实验结果误差分布

Table 5. Error distribution of static experimental results under same poses(°)

图 6. 测量精度与距离的关系

Fig. 6. Relationship between measurement precision and distance

4.3 动态测量实验

图 7. 距离3 m时动态测量误差。(a)待测角度基准值;(b)外框测量误差;(c)中框测量误差;(d)内框测量误差

Fig. 7. Error of dynamic measurement when distance is 3 m. (a) Measured reference value; (b) errors of outer frame; (c) errors of middle frame; (d) errors of inner frame

图 8. 距离4.5 m时动态测量误差。(a)待测角度基准值;(b)外框测量误差;(c)中框测量误差;(d)内框测量误差

Fig. 8. Error of dynamic measurement when distance is 4.5 m. (a) Measured reference value; (b) errors of outer frame; (c) errors of middle frame; (d) errors of inner frame

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于单目视觉和棋盘靶标的平面姿态测量方法 下载： 1276次

1 引言

2 摄像机成像模型及其标定

图 1. 棋盘状靶标成像示意图

Fig. 1. Sketch map of imaging of checkerboard target

2 靶标位姿解算

图 2. 理想情况下靶标坐标系与世界坐标系的关系

Fig. 2. Relationship between target coordinate system and world coordinate system in ideal situation

3 安装偏差角的自标定

图 3. 实际情况下靶标坐标系与世界坐标系的关系

Fig. 3. Relationship between target coordinate system and world coordinate system in actual situation

4 实验

4.1 仿真实验

表 1. 仿真实验结果

Table 1. Results of simulation experiment(°)

表 2. 理论实验结果

Table 2. Results of theoretical experiment(°)

图 4. 实际图像角点和仿真图像角点对比。(a)实际图像角点;(b)仿真图像角点

Fig. 4. Comparison of actual image corner and simulation image corner. (a) Actual image corner; (b) simulation image corner

4.2 静态测量实验

图 5. 单目视觉姿态测量实验系统

Fig. 5. Experimental system of monocular vision pose measurement

表 3. 不同姿态下静态实验结果

Table 3. Static experimental results under different poses(°)

表 4. 同一姿态下静态实验结果

Table 4. Static experimental results under same poses(°)

表 5. 同一姿态下静态实验结果误差分布

Table 5. Error distribution of static experimental results under same poses(°)

图 6. 测量精度与距离的关系

Fig. 6. Relationship between measurement precision and distance

4.3 动态测量实验

图 7. 距离3 m时动态测量误差。(a)待测角度基准值;(b)外框测量误差;(c)中框测量误差;(d)内框测量误差

Fig. 7. Error of dynamic measurement when distance is 3 m. (a) Measured reference value; (b) errors of outer frame; (c) errors of middle frame; (d) errors of inner frame

图 8. 距离4.5 m时动态测量误差。(a)待测角度基准值;(b)外框测量误差;(c)中框测量误差;(d)内框测量误差

Fig. 8. Error of dynamic measurement when distance is 4.5 m. (a) Measured reference value; (b) errors of outer frame; (c) errors of middle frame; (d) errors of inner frame

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于单目视觉和棋盘靶标的平面姿态测量方法下载： 1276次