1 引言

相比传统的纸靶、金属网靶、锡箔靶等高速飞行暗小目标测速技术,高速摄影技术具有高效可靠的特点,相比多普勒测速法^[1]具有可记录目标运动状态的优势,近年来得到了广泛应用。基于单目视觉^[2]的高速摄影测量法结构简单、布站灵活,但当目标运动偏离预设运动面导致实际位移计算比例尺发生变化时,单目视觉无法准确测量偏离量^[3-4],目标的定位存在误差,因此,常用双目视觉^[5]原理定位目标。通过在室内靶道中布置若干双目视觉测量站^[6],采集目标经过两个固定距离测量站的时间解算运动速度;此外,可在单站布置多对正交双目相机,如美国的自动化发射视频分析系统^[7]在单测量站布置了四对正交分布的相机组拍摄飞行目标,解算目标速度与章动角,但该方法的安装难度较大,且对测量站之间的共线程度要求较高,需要的相机数量也较多,导致测速系统的成本较高且机动性较差。双目视觉测量站大多利用阴影成像法^[8]对目标的阴影进行成像,阴影法拍摄的对象是目标在投影屏的投影,轮廓清晰,便于进行后处理,但无法从中获取目标的自转角与表面烧蚀量等信息。三次序列闪光阴影照相系统为提高测量数据的密集程度,在单次成像中对整个视场进行三次曝光^[9-10],观察曝光时目标在投影屏上生成的阴影,但多次曝光后最初的目标阴影逐渐变淡,无法再通过提高曝光次数来提高测量精度。国外常用的外场摄影测量方式为转镜跟踪测量,在高速相机镜头前增加电控转镜跟踪飞行目标,对转镜反射的目标进行成像,以获取目标的运动图像^[11],该方法增大了测量的视场角,同时能观察到目标的整个飞行过程。但同样无法测量目标对预设运动面的偏移量,且引入了目标与转镜距离的非线性变化量,导致难以从视频中得到精确的目标速度。虽然采用机器人操作转镜与目标同步进行非线性运动可以消除非线性度的影响,但不可避免地将转镜系统复杂化^[12]。前光摄影法^[13]也被称为反射式摄影、成实像技术^[14]等,利用电火花、X光、脉冲激光等短脉冲宽度光源代替相机的自然曝光,减小高速目标的拖影现象,应用于高速摄影中可以解决阴影法多次曝光后成像缺失的问题。

本文提出一种基于单帧多次局部曝光的测速方法,介绍了系统组成,推导了曝光光源参数的设计方法。利用脉冲激光频率高、脉冲宽度短、能量高的特点,用激光测距机作为高速目标的局部曝光光源,结合单目视觉与激光测距数据实现了高速暗小目标的定位与测速。激光测距的有效数据与前光摄影成像相互对应,使得局部曝光影像具有以脉冲激光为基准的时间戳,测量时无需额外的时序统一设备;同时可以突破传统高速摄影的测量频率上限,获得更高的目标拍摄频率,提升测速精度,从而应用于靶场高速暗小目标的成像与测速。

2 系统组成及测量原理

2.1 系统组成与测量方法

单帧多次局部曝光测速系统的布置方式如图1所示,主要由高速相机、振镜扫描系统、脉冲激光测距机、调整光路组成。将激光测距机发射的脉冲光斑在目标预设运动面上的投影称为光足^[15],利用振镜扫描系统控制脉冲测距激光方向,使光足在目标运动轨迹上进行扫描,光足也可以作为目标的局部曝光光源。光足覆盖目标时,对目标进行一次时间为激光脉冲宽度的曝光,目标在相机成像面上形成前光照明影像。其中, t1,t2,t3为同一个目标运动轨迹上光足覆盖的不同时刻。同时激光测距机获得目标在该位置到激光测距机的距离。激光测距的脉冲频率远高于相机的帧频,在一帧内目标可多次进入光足,在同一帧相机图像中的不同位置被多次曝光,得到多个前光照明影像与对应的距离;最后利用机器视觉求取目标质心,融合相机与激光测距机得到的数据,解算出目标在空间的运动轨迹和运动速度。该方法可在不牺牲分辨率的前提下提升测量频率,测量数据密度高于一般的高速摄影系统,提升了测速上限,适用于高速暗小目标的速度测量。

图 1. 测速系统的布置

Fig. 1. Layout sketch of velocity measurement system

下载图片 查看所有图片

目标整个运动过程中被曝光的次数可表示为

n_a= tafp,tm≤tftaffp+tcfptm/tf+talfp,tm>tf,(1)

式中, tm为目标在相机视场内的运动时间, tf为相机的单帧时间, fp为激光脉冲频率, tf=1/fs为相机单帧时间, fs为相机的帧频, tc为相机单帧的理论曝光时间, ta为相机单帧的实际曝光时间。在目标运动时间大于单帧图像成像时间的情况下,目标在视场内首帧的实际曝光时间为 taf,目标运动时间大于相机的单帧时间时,目标在视场内末帧的实际曝光时间为 tal,[]为取整符号。

(1)式有两种情形:若总运动时间 tm小于等于相机的单帧时间 tf,相机的单帧实际曝光时间 ta受目标进入视场时刻的影响,仅当目标位于视场内且相机处于曝光状态时才能记录目标的影像,如图2所示。此时, ta为目标在视场中的运动时间 tm与单帧相机的理论曝光时间 tc的重合部分,目标整个运动过程中被曝光的次数等于该帧中运动目标被曝光的次数 na,计算单帧实际曝光时间中的激光脉冲次数 tafp可得到 na;若目标的总运动时间 tm大于相机的单帧时间 tf,将目标在相机视场中的图像序列分为首帧、中间帧与尾帧。首帧与尾帧中的目标局部曝光次数如图3、图4所示,在这两帧中,相机的实际曝光时间分别为 taf与 tal,曝光次数分别为 taffp与 talfp,目标运动过程中的帧数为 tm/tf。各中间帧的局部曝光次数如图5所示,实际曝光时间 tam=tc,中间帧内目标的局部曝光次数为 tcfp,即 tm>tf时,目标运动全过程的实际曝光次数为 taffp+tcfptm/tf+talfp。由(1)式可知,在相机帧频不变的条件下,提高相机的单帧理论曝光时间与激光脉冲频率可提高系统的局部曝光次数,从而提升测量频率;对于视场内运动时间小于相机单帧时间的目标,可通过提高单帧内曝光时间占相机单帧时间 tf的比例提高曝光时间与目标在视场内的时间重合度,从而提升测量频率。

图 2. tm≤tf时目标的单帧局部曝光次数

Fig. 2. Numbers of target local exposures in single frame when tm≤tf

下载图片 查看所有图片

图 3. tm>tf时目标在首帧的局部曝光次数

Fig. 3. Numbers of target local exposures in the first frame when tm>tf

下载图片 查看所有图片

图 4. tm>tf时目标在尾帧的局部曝光次数

Fig. 4. Numbers of target local exposures in the last frame when tm>tf

下载图片 查看所有图片

图 5. tm>tf时目标在中间帧的局部曝光次数

Fig. 5. Numbers of target local exposures in a middle frame when tm>tf

下载图片 查看所有图片

2.2 单帧多次局部曝光的测速系统和原理

建立的单目视觉定位模型如图6所示,以相机的光心为原点建立相机坐标系 Oc⁃XcYcZc,以 Oc⁃XcYcZc坐标系中的 0,0,-h处为原点建立世界坐标系 Ow⁃XwYwZw,相机成像面中心 O0为相机光轴与像素坐标系 O⁃uv的交点,目标预设运动面 Ow⁃XwYw接近于目标进入视场第一次被捕获的坐标 P1。运动点目标 Pixi,yi,zi( i=1,2,…,n为目标局部曝光成像的序号)在运动面 Ow⁃XwYw与成像面 O⁃uv上的透视投影点分别为P_wxw,yw,zw与P_cxc,yc,zc,其中, xw,yw,zw为 Pi在 Ow⁃XwYw上的透视投影点在 Ow⁃XwYwZw坐标系下的坐标, xc,yc,zc为 Pi在 O⁃uv上的透视投影点在 Oc⁃XcYcZc坐标系下的坐标,由透视投影几何关系得到 Pi在 Ow⁃XwYwZw下的坐标为

xi,yi,ziT= akiui-u0f,akivi-v0f,h-kiT,

(2)

式中, a为相机的单位像素边长, ki为运动目标点 Pi到运动面 XcOcYc的距离, h为相机光心 Oc到目标预设运动面的距离, ui,vi为 Pc的像素坐标, f为相机的焦距, u0为相机CMOS中心的水平像素坐标, v0为相机CMOS中心的垂直像素坐标。相机光心 Oc与目标质心在CMOS的成像 Pc相连构成一条直线,由于 Oc的坐标与 Pc的像素坐标 ui,vi已知,可求得该直线在空间的向量 OcPc⃗。在不考虑镜头畸变的理想情况下,目标坐标 Pi必然位于该直线上,因此,只要获取运动目标与运动面 XcOcYc的距离 ki,就能确定运动目标的坐标。

图 6. 单目视觉定位的模型

Fig. 6. Model of monocular vision positioning

下载图片 查看所有图片

仅通过单目视觉系统无法获取未知距离 ki,因此,需要利用激光振镜扫描系统先获取目标与振镜系统的距离,从而获得 ki。以振镜出光处 Og为原点建立振镜坐标系 Og⁃XgYgZg,如图7所示, Og在世界坐标系下的坐标已知,为 xwg,ywg,zwg。振镜出光处与运动目标的距离 ‖OgPi⃗‖可表示为

式中, di为第 i次局部曝光的激光测距值, dg为激光测距机到振镜出光处的光路距离。以振镜坐标系的原点为球心、激光测距值为半径建立球面,该球面与图7中相机光心指向目标投影向量 OcPc⃗的交点坐标为目标 Pi,联立(2)式、(3)式,可得到距离 ki,从而实现对目标坐标 Pi的定位,可表示为

k_i= fM{N± N2-Mxwg2+ywg2+zwg-h2-di-dg2},

(4)

N=fh-zwg+ax_wgui-u0+ay_wgvi-v0。(6)

图 7. 振镜坐标系下的运动目标

Fig. 7. Moving target in galvanometer coordinates

下载图片 查看所有图片

由于空间直线与空间球面最多存在两个交点,即(4)式可能存在两个解,其中一个解位于相机视场外或视场内远离于运动平面 XwOwYw的假解。为消除 ki的二义性,令 k0=h,Δi=ki-ki-1,代入两个解 k1得到两个Δ₁,保留使Δ₁较小的解 k1,即接近于运动面 XwOwYw的解作为真值计算运动目标的初始坐标。由于自由飞行的运动目标具有连续性,不存在巨大突变,在 Δi=ki-ki-1的情况下,反复迭代 ki,保留使 Δi较小的解 ki代入(2)式,计算出后续目标位置的真值。

设两次脉冲的间隔时间小于Δt,目标从点P_i= xi,yi,zi运动到点P_i+1= xi+1,yi+1,zi+1的距离为

s_i= (xi-xi+1)2+(yi-yi+1)2+(zi-zi+1)2。(7)

目标在位置 i与位置 i+1间的绝对运动速度为

该测量方式无需用额外的时序统一系统对激光测距系统与高速摄像系统进行配准,利用激光脉冲作为时间基准可获得两个系统的匹配测量数据。当光足覆盖目标时,均会在高速相机内对目标进行一次成像,同时激光测距机生成测距数据。捕获的测距值与背景测距值的差异较大,可作为测距值的一个阈值区间,若测距值处于阈值范围内则认为捕获到目标。若某个光足未能覆盖目标,则相机中无目标的局部曝光成像,激光测距机测量的数据也不在目标捕获的阈值范围内,此时,通过激光器测距序列舍去该时刻的测量数据,不会影响相机与激光器的数据融合。

2.3 局部曝光光源的设计原理

为使目标在相机视场中清晰成像,需选择合适的脉冲光源强度,确保局部曝光的运动目标与背景具有一定的对比度,便于图像处理时提取运动目标的质心。建立的局部曝光成像模型如图8所示。

图 8. 局部曝光成像模型

Fig. 8. Imaging model for local exposure

下载图片 查看所有图片

图8中激光测距机的脉冲峰值功率为

式中, Pa为激光的平均功率, tp为脉冲的宽度, fp为脉冲的重复频率。激光出瞳立体角可表示为

式中, θa与θb分别为激光光斑长轴与短轴方向的出瞳发散角。目标的入射能流密度可表示为

式中, ηf为入射过程的大气衰减系数, Rb为激光器与目标的距离, Iin的单位为 W/m2。由雷达散射截面的定义^[16]得到目标表面的出射能流密度为

式中, σd为目标雷达的散射截面, Rf为相机光心到目标运动平面的距离。由透视关系得到边长为 d的像元在目标预设运动面上的等效面积为

在一次局部曝光中,单个像元接收到的平均光子数可表示为

式中, ηb为出射路径上的大气衰减系数, Eo=hv为单光子能量, h为普朗克常量, v为脉冲光波的频率, Irf/Eo为单位时间单位面积的后向散射光子数。依据EMVA 1288标准,相机像素阱将接收到的光子数转化为电荷,电荷数转换的像素灰度可表示为

式中, K为全局系统增益,单位为DN/e^-,即单位电荷转换输出的灰度值,其中,DN为无量纲的像元亮度值,e^-为电荷单位, ηλ为相机对脉冲激光波长的量子效率,λ为波长, μd为无光照情况下生成的电子数。单脉冲激光照明目标在相机像素上的成像灰度可表示为

由(16)式可知,影响目标成像灰度的主要因素有目标激光雷达的散射截面积 σd、激光平均功率 Pa、脉冲频率 fp、激光器与目标的作用距离 Rb、激光光斑长轴与短轴方向的出瞳发散角 θa与θb、脉冲激光波长对应的相机量子效率 ηλ。σd与目标成像灰度正相关,因此,在测量前应对目标表面进行预处理以提高目标的激光雷达散射截面积 σd。Pa与fp的比值为单脉冲能量,单脉冲能量与成像灰度正相关, Rb的平方与成像灰度负相关,因此,选用峰值较高的脉冲激光并将测距机靠近运动平面,有利于对目标进行清晰曝光并将其与背景区分。当单帧多次局部曝光相机的焦距与像元尺寸确定时,应选择测距激光对应波长量子效率较高的相机。减小测距激光的发散角可以增大成像灰度,但发散角过小会导致光足较小,对目标的捕获概率下降。

3 仿真与实验

3.1 单帧多次局部曝光测速系统的精度分析

单帧多次局部曝光测速方法求解的速度精度主要取决于目标定位系统的精度,目标所在的直线朝向精度取决于目标质心像素坐标的提取精度,目标所在的球面半径精度主要取决于激光测距的精度,目标质心像素坐标的提取精度与激光测距的精度共同影响了目标定位系统的精度。按误差传递理论对(4)式的解析式误差进行分析比较复杂,因此,使用仿真分析系统结构与目标运动速度对测速精度的影响。

通过测量目标出膛后在相机视场区间内的运动状态获得目标的初始速度,在世界坐标系中,设球体目标的直径为8mm,初始目标质心坐标P₀为(2,-0.3,-0.05),单位为m,初速度朝向 Xw负半轴,发射角θ_s=0.5°,重力加速度为9.8m/s²;设相机朝向 Zw负半轴,相机分辨率为1280pixel×1024pixel,像元尺寸为6.6μm×6.6μm,相机焦距为20mm,为目标的投影像素坐标加入服从高斯分布的像素提取误差,再将像素坐标四舍五入圆整,仿真待测目标质心在成像面的投影;设激光测距机的测量频率为30kHz,振镜出光处的坐标O_wg为(-0.5,0,-6),振镜前光路的等效距离 dg=1.2m,依据 3σ原则确定噪声标准差加入第 i次局部曝光的激光测距值 di,并圆整至mm级精度,实际测量中应优于 3σ原则确定传感器精度,其中, σ为测量数据的标准差。

取相机光心坐标 Oc分别为(0,0,4),(0,0,6),(0,0,8)的情况进行研究,即相机与预定运动平面的距离分别为4,6,8m,该距离会影响运动目标成像尺寸与单个视场内的局部曝光成像个数,进而影响测速误差;以50m/s为速度变化步长,仿真求解目标初速度 vs在500~1500m/s范围内的测速误差,对每个初速度下的目标仿真50次取均值,得到对应目标初速度下的测速误差与测速相对误差,如图9、图10所示,不同目标速度下的最大局部曝光次数如图11所示。

图 9. 不同目标速度下的测速误差

Fig. 9. Velocity measurement errors at different target velocities

下载图片 查看所有图片

图 10. 不同目标速度下的相对测速误差

Fig. 10. Relative velocity measurement error at different target velocities

下载图片 查看所有图片

图 11. 不同目标速度下的最大局部曝光次数

Fig. 11. Maximum numbers of local exposures under different target velocities

下载图片 查看所有图片

由图9可知,测速误差随目标运动速度的增大呈先下降后上升的趋势,原因是当目标运动速度较低时,最大局部曝光次数较高。即对于同等分辨率的相机,相邻两次局部曝光形成的目标质心投影像素间距较小,在提取目标质心像素的过程中,像素坐标圆整操作引入的相对误差较大,使两次曝光间低速目标比高速目标的相对位移误差较大,导致低速运动状态的目标测速精度较低;随着目标运动速度的增加,目标质心像素坐标提取的相对误差主要来源于正态分布的提取误差,测速误差较高的测量数据密度减小,目标速度上升时相机视场内目标的捕获次数也减小,导致测量数据密度减小,测速误差增大。对比不同相机光心坐标条件下的测速误差发现,相机与运动目标的距离越大,相机视场越宽,最大局部曝光次数也越大,用于消除测量误差的测量点越多,在测量低速目标时具有较高的测量精度;测量高速目标时,不同相机与运动目标距离下的最大局部曝光次数相近,测量点数对相对测速误差的影响不明显。

综上所述,根据待测目标的速度选择该测量系统的参数,使像素坐标提取误差中的随机误差占主导成分,且在视场中具有足够的测量数据密度,使测速误差最小。仿真结果表明,目标的运动速度为1500m/s时,目标的相对测量误差小于0.7%;在视场内至少存在40个局部曝光点时,为减小目标质心像素坐标的提取误差,应尽可能地使相机靠近目标的预设运动面。

3.2 单帧多次局部曝光测速实验

为验证上述系统的测量原理,选用直径为8mm的球体作为待测运动目标,由误差小于0.5%的运动目标发射器使球体以20m/s的初速度运动。由于目标的初速度较低,过高的测量频率会增大成像像素的提取误差,因此使相机的每秒传输帧数(FPS)为100frame,激光测距机的脉冲频率为1000frame,其余相机参数与仿真中的参数相同,相机与目标预设运动面的距离约为6m,振镜前的等效光路长度为1.25m。控制振镜的扫描速度与待测速度相匹配,用红外相机拍摄振镜扫描路径,结果如图12所示。

图 12. 振镜扫描的局部曝光轨迹

Fig. 12. Local exposure track of galvanometer scanning

下载图片 查看所有图片

振镜控制激光按一定速度循环扫描,激光光足在背景屏上形成多次曝光的光足轨迹。用目标发射器发射目标,使光足轨迹覆盖运动目标轨迹,记录目标在单帧成像中被多次曝光得到的影像。目标表面较强的反光点在相机中形成的弥散圆如图13所示,以弥散圆的圆心为目标运动质心,依次提取运动轨迹上的质心像素坐标与对应的激光测距值,取部分数据,并根据相机参数与测量系统原理求解运动目标在世界坐标系下的坐标。由于目标运动轨迹近似在一个平面上,先对各点目标进行平面拟合,得到目标位置的投影,再计算局部测量速度,可提高精度。实验共有82个有效曝光测量点,由于实验数据量较大,取部分采集数据列入表1。将表1中的数据代入(4)式~(7)式,得到目标的空间坐标 Pi。用 Pi拟合的平面,得到点坐标在拟合平面上的投影,代入(8)式得到每两个目标点间的局部速度,取所有局部速度的平均值,得到目标的运动速度为20.472m/s。

图 13. 单帧多次局部曝光得到的运动目标。(a)实验1;(a)实验2

Fig. 13. Moving target obtained by multiple partial exposures in a single frame. (a) Experiment1; (b) experiment2

下载图片 查看所有图片

经30次实验,将单帧多次局部曝光的测速结果与传统高速摄影单帧单次测速的结果进行对比,结果如图14所示。其中,单帧多次局部曝光测速30次实验的平均速度为20.315m/s,标准差为0.230m/s;单帧单次测速30次实验的平均速度为20.414m/s,标准差为0.786m/s,这表明单帧多次局部曝光测速方法的测量频率更高,且测量结果的离散程度小。以初速度20m/s为真值,得到的相对测速误差如图15所示,以测量速度的平均值为真值,得到的测速误差如图16所示。

图 14. 目标测速的结果

Fig. 14. Results of target velocity measurement

下载图片 查看所有图片

图 15. 相对测速误差(以初速度为真值)

Fig. 15. Relative velocity measurement error (take initial velocity as true value)

下载图片 查看所有图片

图 16. 相对测速误差(以平均速度为真值)

Fig. 16. Relative velocity measurement error (take the average velocity as the true value)

下载图片 查看所有图片

从图15中可以发现,以单帧多次局部曝光数据得到的30组相对测速误差中,有24组满足测速相对误差小于2.5%的条件,占全部测量值的80%;以单帧单次曝光数据得到的相对测速误差中仅有15组满足该条件,占测量值的50%,且实验粗大误差数据出现频率高于单帧多次曝光测速法。30组实验的测速均值均高于目标发射器的标定速度,这表明测量系统存在系统误差。系统误差的主要来源:目标发射器的系统误差导致目标的初速度略高于20m/s,不大于标定误差的0.5%,考虑到振镜前等效光路长度的测量方法精度有限,光路的长度小于实际值,在计算时提高了各测量点的分布间距,导致测速值偏大。为减少系统误差的影响,以30次实验测量速度的平均值作为真值计算相对测量误差,可以发现,图16中以单帧多次局部曝光方法测量的数据中除了22号实验测速结果偏大,其余测速相对误差均小于2.5%,且22号实验结果明显较大,应作为粗大误差剔除;而单帧单次曝光测速的相对误差分布仅有15组满足测速相对误差小于2.5%的条件,占测量值的50%。这表明基于单帧多次曝光的测速方法突破了传统高速摄影图像的帧率上限,可有效提高测速精度,在20m/s的目标初速度下测速相对误差小于2.5%。由于实验室条件限制,无法设置高速目标,当测量高速目标时,像素提取误差对测量结果的影响减小,通过提升激光测距机的测量频率可达到更理想的测量精度。

4 结论

为满足现有高速摄影测量暗小目标的需求,基于前光摄影原理提出了一种结合激光测距与单目视觉的单帧多次局部曝光测速方法。相比传统测量方法,该方具有有效数据多、测速上限高、布站方便的优势。可将高速摄影的测量频率从1kHz提升到30kHz,从而增大有效数据量。实验结果表明,本方法对目标的测速误差小于2.5%。此外,本方法以短间隔的局部曝光形式在同一帧图像上记录多个目标的前光照明影像,利用激光脉冲作为时间基准免除了额外的时序统一系统,提高了高速摄影时的测量频率。如果在待测目标表面进行特殊标记,多次局部曝光的影像可在弹药目标测速的同时用于小周期章动角与自转角测量的研究。