中国激光, 2020, 47 (1): 0110004, 网络出版: 2020-01-09   

条纹管激光成像雷达目标三维重构快速算法 下载: 1227次

Fast Target Three-Dimensional Reconstruction Algorithm for Streak Tube Laser Imaging Radar
作者单位
1 深圳大学电子与信息工程学院, 广东 深圳 518006
2 深圳大学物理与光电工程学院光电子器件与系统教育部重点实验室, 广东 深圳 518006
3 哈尔滨工业大学光电子技术研究所可调谐激光技术国家级重点实验室, 黑龙江 哈尔滨 150080
4 湖南科技学院电子与信息工程学院, 湖南 永州 425100
摘要
实现目标实时动态追踪与识别是条纹管激光成像雷达中亟待解决的问题,针对条纹管激光成像雷达峰值探测三维重构算法运算时间长的问题,提出一种抽样插值目标三维重构算法,以一定的抽样率对条纹图像等间隔抽样并插值运算,再进行峰值特征提取运算。当抽样率为4%时,对于探测距离为706 m的目标,抽样双线性插值重构法的运算速度比原重构法提高了2.3倍,三维重构矩阵的相关系数约为0.99;抽样最近邻插值重构法的运算速度比原重构法提高了3.5倍,三维重构矩阵的相关系数约为0.98。实验结果表明所提算法可以提高目标三维重构速度,并且目标条纹图像帧幅数越多,目标三维重构速度改善效果越好。
Abstract
Real-time dynamic target tracking and recognition has become an urgent issue that should be resolved with respect to streak tube laser imaging radar. In this study, we propose a sampling interpolation algorithm for target three-dimensional (3D) reconstruction to solve the problem of long operation time associated with the peak detection 3D reconstruction algorithm. First, the streak image is sampled with a certain sampling rate at equal intervals and is interpolated; subsequently, the peak feature is extracted. When the sampling rate is 4%, the sampling bilinear interpolation reconstruction method is approximately 2.3 times faster than the original reconstruction method, and the correlation coefficient of the 3D reconstruction matrix is about 0.99 for targets with a detection distance of 706 m; further, in case of the nearest neighbor sampling interpolation method, the reconstruction speed is 3.5 times faster than that of the original reconstruction method, and the correlation coefficient of the 3D reconstruction matrix is about 0.98. The experimental results denote that the proposed algorithm can improve the 3D object reconstruction speed; the larger the number of frames of the target streak image is, the better the effect of improving the 3D target reconstruction speed will be.

1 引言

条纹管激光成像雷达(STIL)最早由Knight等[1]于1989年研制,并成功获得目标物体16 pixel×16 pixel的三维像。1997年6月美国军方开展了导弹目标自主追踪与识别多狭缝条纹管激光成像雷达研发项目,项目由美国阿雷特联营公司负责,2000年公开的第一阶段的成果为60 m、1000 m处目标三维像[2],并成功合成目标四维信息像(3D+强度),第二阶段的研究计划为实时动态追踪与识别目标。Nevis等[3]开展了STIL的水下三维目标信息获取研究,美国海军随后将STIL作为类似水雷物体的探测器。

STIL研究在我国起步较晚,2005年开始,我国研究机构面向应用,进行了大视场、高帧频、闪烁式条纹管激光雷达研究,孙剑峰等[4]采用532 nm YAG激光器,20 mJ的单脉冲能量,实现了45°大视场成像,完成1 km距离的静态场景成像,远距离目标的距离分辨率达到0.5 m,也进行了水下探测成像研究,最大探测深度可达5 m,此项技术可用于潜艇和水雷达的探测[5]。Yang等[6-7]把条纹管激光雷达分解成串联的成像单元,建立了传递函数以及噪声理论模型。赵文等[8]进行了理论和实验研究,应用参数估计法得出了条纹管激光雷达的距离分辨率计算公式,得出通过提高回波信噪比和扫描速度可以提高距离分辨率的结论。惠丹丹等[9]设计出一种小型的、具有大探测面积的非扫描式激光雷达专用条纹管。

从国内外的研究进展中可以看出,实用型条纹激光成像雷达研制中面临两个主要问题:1)如何提高条纹管的时间分辨率、空间分辨率、阴极有效工作面等技术参数,以满足条纹管激光成像雷达对远距离、移动目标的识别与追踪的要求;2)如何实时快速重构目标三维像,以获得高分辨率的三维距离像和强度像,提高条纹管激光成像雷达的实时识别和追踪能力。针对第二个问题,本文提出条纹图像抽样插值目标三维重构快速算法,用于减少目标三维重构时间,提高雷达实时识别与追踪的能力。

2 条纹管激光成像雷达目标重构算法

2.1 峰值探测目标重构算法

物体由于表面形貌的差异,各位置的漫散光反射到条纹管的时间不同,条纹管是将时间信息映射为空间信息的成像器件,因此所获条纹图像中既有物体的光强度信息[10-11],又有由时间信息所表征的物体表面形貌信息,目标条纹图像如图1(a)所示,根据目标条纹图像可以重构目标强度像和距离三维像。条纹图像中与狭缝相同的一维方向上(水平方向)的灰度信息表示目标的强度信息,竖直方向为时间通道,表示不同距离的目标表面激光回波产生的时间位移。条纹像素峰值点的灰度信息表示目标物体对应的光强度信息,峰值点的坐标信息表示目标物体对应的距离信息[12-13]。峰值点像素与位置的关系可用fp(i0,j0)表示,峰值点强度信息用I(p,j0)表示。因此,重构图像中某一行的目标强度像和距离三维像可分别表示为

I(p,j0)=maxfp(i0,j0),(1)

R(p,j0)=imax,(2)

式中:p为条纹像帧数编号,p=1,2,…,P;i0j0为第p帧条纹像的行、列号,i0=1,2,…,M,j0=1,2,…,N;M为行数;N为列数;imax表示单一时间通道上的像素峰值点的横坐标。得到的像素点构成一个行数为P,列数为M的目标三维重构矩阵,矩阵中的元素值为从条纹像中提取的距离信息与强度信息,可用于重构目标距离三维像。

2.2 抽样插值目标重构算法

由于每一帧条纹像反映的是目标局部的一维轮廓信息,不是目标实际的物像,条纹图像上目标灰度值和背景单一,激光雷达条纹图像的目标和背景区分度高,目标的灰度值远大于背景灰度值,目标条纹灰度值反映了探测物体的特征信息(轮廓、距离),所占区域的面积小,背景灰度不包含探测物体的特征信息,所占区域的面积大,因而对条纹图像进行抽样处理后,所得图像还能保存主要的目标特征信息。基于条纹图像的上述特点,提出抽样插值目标重构算法。

抽样方法如图1(a)所示,其中:r1~rJ为等间隔抽样的行抽样值,在一定范围内以Δ1为间隔进行抽样,即r2-r1=r3-r2==rJ-rJ-11;c1~cI为等间隔抽样的列抽样值,在一定范围内以Δ2为间隔进行抽样, 即c2-c1=c3-c2==cI-cI-12。为了避免重构目标宽度与高度的比例失真,对行、列像素点数采用相同比例进行缩放,如对一幅M×N的条纹图像,缩放因子为α,则缩放后的条纹图像大小为αM×αN,取I=αM,J=αN,重新抽样形成的图像中第i行对应的测量值为[F(i,1),F(i,2),…,F(i,J)],其中F(i,1)表示在第ci列对应的r1行中的第一个测量值,抽样插值法目标三维重构步骤如图1(b)所示,其中y存储条纹图像峰值点所在的列编号,上标表示条纹图像帧幅编号,P表示总的帧数,下标表示条纹图像行编号,M表示总行数,R表示由峰值点位置组成的目标三维像矩阵,下标表示条纹图像帧幅编号。

常用的图像缩放插值法有最近邻法、双线性法、双立方法等,其中最近邻插值法的优点是运算速度快,实现简单,缺点是容易产生色块和丢失细节信息;双线性插值法克服了最近邻插值法的缺点,同时在计算速度和插值效果上达到较好平衡;双立方插值法为三阶插值,插值效果好,但计算量大,不适合快速运算,因此本研究采用最近邻插值法与双线性插值法。

图 1. 条纹图像目标三维重构示意图。(a)等间隔抽样;(b)重构步骤

Fig. 1. Diagram of 3D object reconstruction of streak image. (a) Sampling with equal intervals; (b) reconstruction steps

下载图片 查看所有图片

为了客观评价原重构法与抽样插值重构法三维重构结果的一致性,引入矩阵相关系数进行评价。矩阵相关系数是用来衡量矩阵变量之间关系密切程度的统计指标,矩阵相关系数的定义为

r=mn(Amn-A-)(Bmn-B-)mn(Amn-A-)2mn(Bmn-B-)2,(3)

式中: A-是矩阵A元素的平均值, B-是矩阵B元素的平均值;mn分别表示矩阵的行编号与列编号;AmnBmn分别表示AB矩阵第mn列的元素。当A=B时,r=1。

3 条纹管激光雷达成像系统

条纹管激光成像雷达主要包括激光器、条纹管相机、像增强器、数字延迟脉冲信号发生器,结构如图2所示。采用的条纹管相机光谱响应范围为400~850 ns,最佳时间分辨率为450 ps,动态空间分辨率为10 lp/mm。实验中光源采用Nd∶YAG脉冲激光器,脉冲宽度为8 ps,实验中采用的激光波长为532 nm,最大单脉冲输出能量为20 mJ。用直径为25.4 mm的光学透镜柱面镜实现激光扩束,将激光束变为扇形光源,条纹相机工作在动态模式,CCD采用内触发模式,激光以扇形面打在目标和背景上,一个激光脉冲可以获得一帧目标条纹图像。为了表述方便,本文将7 m远的物体称为近距离目标,706 m远的物体称为远距离目标。

图 2. 条纹管激光成像雷达结构图

Fig. 2. Structural diagram of streak tube laser imaging radar

下载图片 查看所有图片

4 实验结果与分析

4.1 近距离目标三维重构

近距离目标探测实验在室内进行,目标外形轮廓规则,方形目标实物照片如图3(a)所示,放置在升降机上,选用扫描全屏时间为46 ns,激光单脉冲输出能量为200 μJ。采集了60帧条纹图像,条纹图像大小为512 pixel×512 pixel,如图3(b)所示,W1区域表示激光打到墙面上的回波,D区域表示目标激光回波。水平方向为狭缝方向,竖直方向为扫描方向上的时间通道。

图 3. 近距离目标实物图。(a)目标实物图;(b)目标条纹像

Fig. 3. Short-range target physical image. (a) Target physical image; (b) target streak image

下载图片 查看所有图片

条纹图像中一个时间通道的像素数为512,帧数为60幅,因而整个目标的特征的方位-方位-距离矩阵为512×60阶,为了比较抽样插值三维重构的效果,比较不同的抽样率下的重构时间和三维重构矩阵的相关系数。用MATLAB 2014软件编程实现目标三维重构算法,所使用计算机的配置为1.8 G CPU,4 G内存。原条纹图像目标三维重构结果如图4(a)所示,当抽样率为4%时,双线性插值法和最近邻插值法的目标重构三维像分别如图4(b)、(c)所示。其中,变量S表示抽样率,OT表示原始方法重构时间,BT表示双线性法重构时间,NT表示最近邻法重构时间,OCorrBCorrNCorr分别表示原始方法矩阵相关系数、双线性法矩阵相关系数和最近邻法矩阵相关系数。

重构实验的实测数据如表1所列,用所测数据绘制抽样率与重构时间、目标三维重构矩阵相关系数的关系曲线,如图5(a)、(b)所示,横坐标为抽样率(%),纵坐标分别为重构时间(s)、目标三维重构矩阵相关系数。

图 4. 近距离目标条纹图像重构的目标三维图。(a) S=100%, OT=0.607 s, OCorr=1;(b) S=4%, BT=0.244 s, BCorr=0.93;(c) S=4%, NT=0.178 s, NCorr=0.92

Fig. 4. Reconstructed three-dimensional target images from close-in target streak image. (a) S=100%, OT=0.607 s, OCorr=1; (b) S=4%, BT=0.244 s, BCorr=0.93; (c) S=4%, NT=0.178 s, NCorr=0.92

下载图片 查看所有图片

表 1. 近距离目标的不同抽样率对应的重构时间和相关系数

Table 1. Reconstruction time and correlation coefficient of different sampling rate for close-in targets

S100%81%64%49%36%25%16%9%4%
BT /s0.6070.7180.6380.5630.4860.4160.3630.2960.244
BCorr10.99110.98400.97610.96250.96360.96150.94490.9296
NT /s0.6070.6190.5220.4550.3980.3320.2740.2220.178
NCorr10.98920.98650.98010.96410.96230.95030.93820.9150

查看所有表

图 5. 近距离目标两种方法重构效果比较。(a)重构时间;(b)重构矩阵相关系数

Fig. 5. Comparison of reconstructing effects of two methods for close-in targets. (a) Reconstructing time; (b) correlation coefficient of reconstructed matrix

下载图片 查看所有图片

4.2 远距离目标三维重构

远距离探测目标分别为706 m处的高层大楼和附近低层楼房,条纹管激光雷达的接收视场为5°,发射视场为5°,探测用激光光束沿推扫方向上的发散角为0.1°,条纹管相机扫描全屏的时间为600 ns,激光波长为532 nm,单脉冲输出能量为20 mJ,通过窗户对外场复杂场景进行一维扫描成像,通过俯视和仰视方向推扫,可获得由近及远的多目标复杂场景的条纹图像,共计435幅,条纹图像的大小为640 pixel×480 pixel,图6(a)、(b)分别为实际场景照片和目标条纹图像。

在远距离条纹图像中,一个时间通道的像素数为640,帧数为435幅,因而整个目标的方位-方位-距离矩阵为640×435阶,与近距离目标三维重构处理方法相同,取不同的抽样值,可以获得与不同抽样值对应的抽样时间和相关系数,图7(a)为原条纹像的目标三维重构图,当抽样率为4%时,双线性插值法和最近邻插值法的目标重构三维图像分别如图7(b)、(c)所示。

图 6. 远距离目标实物图和条纹像。(a)目标实物图;(b)目标条纹像

Fig. 6. Physical picture and streak image of remote target. (a) Target physical picture; (b) target streak image

下载图片 查看所有图片

图 7. 远距离目标条纹图像重构的目标三维图。(a) S=100%, OT=6.155 s, OCorr=1;(b) S=4%, BT=1.847 s, BCorr=0.99;(c) S=4%, NT=1.356 s, NCorr=0.98

Fig. 7. Reconstructed target three-dimensional image from remote target streak image. (a)S=100%, OT=6.155 s,OCorr=1; (b) S=4%, BT=1.847 s, BCorr=0.99;(c) S=4%, NT=1.356 s, NCorr=0.98

下载图片 查看所有图片

不同抽样率对应的重构时间和相关系数如表 2所示,抽样率与重构时间、目标三维重构矩阵相关系数的关系曲线如图8(a)、(b)所示。

表 2. 远距离目标不同的抽样率对应的重构时间和相关系数

Table 2. Reconstruction time and correlation coefficient corresponding to different sampling rate for remote targets

S100%81%64%49%36%25%16%9%4%
BT /s6.1557.4946.1005.2344.9823.6593.4582.4131.847
BCorr10.99780.99700.99650.99560.99410.99330.99250.9902
NT /s6.1555.9875.1224.4103.7302.9842.4021.8291.358
NCorr10.99850.99690.99530.99340.99130.98970.98710.9803

查看所有表

图 8. 远距离目标两种方法重构效果比较。(a)重构时间;(b)重构矩阵相关系数

Fig. 8. Comparison of reconstruction effects between two methods for remote targets. (a) Reconstruction time; (b) correlation coefficient of reconstruction matrix

下载图片 查看所有图片

4.3 实验数据分析

对比图5(a)中A点(S=81%,BT=0.718 s)和图8(a)中A点(S=81%,BT=7.494 s)发现:抽样后重构时间不降反升。原因是当抽样率为81%时,由于条纹图像数据量减少而节省的峰值特征提取时间小于双线性插值运算所需的时间,因而引起抽样插值重构法的耗时比原重构法更长,但是随着抽样率的降低,由于条纹图像数据量减少而节省的峰值特征提取时间逐渐大于双线性插值运算所需的时间。图5(b)和图8(b)为抽样率与三维重构矩阵相关系数的变化关系,相关系数随着抽样率的降低而降低,说明抽样会损失目标条纹像中的有用信息。当抽样率为4%时,对于近距离目标重构,双线性插值法重构速度提高了1.5倍,三维重构矩阵的相关系数约为0.93,目标三维重构像如图4(b)所示;最近邻插值法重构速度提高了2.4倍,三维重构矩阵的相关系数约为0.92,三维目标重构像如图4(c)所示。对于远距离目标重构,抽样双线性插值法重构速度提高了2.3倍,三维重构矩阵的相关系数约为0.99,三维目标重构像如图7(b)所示;最近邻插值法重构速度提高了3.5倍,三维重构矩阵的相关系数约为0.98,三维目标重构像如图7(c)所示。比较图7(a)、(b)和(c),当抽样率只有4%时,远距离目标三维重构像与原重构像并无明显差别,轮廓细节清晰可辨,并且随着条纹图像抽样率减少,重构后目标三维像上的斑点噪声明显减少,其清晰度比原三维目标重构像高。当抽样率小于1%时,重构速度提高幅度明显减缓,而重构三维矩阵的相关系数下降幅度明显增大,说明随着抽样率的减少,损失的目标条纹图像中的有用信息量增多。近距离目标和远距离目标的重构时间和相关系数随抽样率变化的规律相似。在图8(b)上出现两个异常的点:C(S=0.0036%, NCorr=0.7748),D(S=0.0025%,NCorr=0.7748),主要原因是最近邻插值算法是用最近相邻的点替代抽样后的未知像素点,随着抽样率的减少,获取条纹像中的有用信息的随机性增大,当抽样率为0.0036%和0.0025%时,等间隔抽样获得的目标像素点较多,因而引起重构矩阵的相关系数升高异常。

5 结论

条纹管激光成像雷达探测数据重构实验证明本文所提出的抽样插值目标三维重构法可以有效提高重构速度;并且目标条纹图像帧幅数越多,目标三维重构速度的提高效果就越明显,同时抽样插值三维重构法有一定的噪声抑制作用。抽样最近邻重构法在速度上有优势,抽样双线性重构法在保真度上有优势,综合比较可知抽样最近邻三维重构法优于双线性插值三维重构法。本文探测的目标都为外形轮廓规则的物体,下一步研究将开展对外形轮廓不规则物体的探测实验,进一步验证所提算法的适应性。

参考文献

[1] Knight F K, Klick D I. Ryan-Howard D P, et al. Three-dimensional imaging using a single laser pulse[J]. Proceedings of SPIE, 1989, 1103: 174-189.

[2] Gleckler A D. Multiple-slit streak tube imaging lidar (MS-STIL) applications[J]. Proceedings of SPIE, 2000, 4035: 266-278.

[3] Nevis A J, Hilton R J, Taylor J S, et al. Advantages of three-dimensional electro-optic imaging sensors[J]. Proceedings of SPIE, 2003, 5089: 225-237.

[4] 孙剑峰, 魏靖松, 王天骄, 等. 大视场条纹管激光雷达设计及成像实验研究[J]. 光学学报, 2011, 31(s1): s100413.

    Sun J F, Wei J S, Wang T J, et al. Design of streak tube imaging lidar with wide-field of view and research of imaging experiments[J]. Acta Optica Sinica, 2011, 31(s1): s100413.

[5] 孙剑峰, 郜键, 魏靖松, 等. 条纹管激光成像雷达水下探测成像研究进展[J]. 红外与激光工程, 2010, 39(5): 811-814.

    Sun J F, Gao J, Wei J S, et al. Research development of under-water detection imaging based on streak tube imaging lidar[J]. Infrared and Laser Engineering, 2010, 39(5): 811-814.

[6] Yang H R, Wu L, Wang X P, et al. Signal-to-noise performance analysis of streak tube imaging lidar systems. I. Cascaded model[J]. Applied Optics, 2012, 51(36): 8825-8835.

[7] Wu L, Wang X P, Yang H R, et al. Signal-to-noise performance analysis of streak tube imaging lidar systems. II. Theoretical analysis and discussion[J]. Applied Optics, 2012, 51(36): 8836-8840.

[8] 赵文, 韩绍坤. 条纹管成像激光雷达距离分辨率[J]. 中国激光, 2013, 40(7): 0714004.

    Zhao W, Han S K. Range resolution of a streak tube imaging lidar system[J]. Chinese Journal of Lasers, 2013, 40(7): 0714004.

[9] 惠丹丹, 田进寿, 卢裕, 等. 用于激光雷达的大探测面积超小型条纹管[J]. 光学学报, 2015, 35(12): 1232001.

    Hui D D, Tian J S, Lu Y, et al. Streak tube with large work area and small size used in lidar detection system[J]. Acta Optica Sinica, 2015, 35(12): 1232001.

[10] 张敬金, 宗方轲, 雷保国, 等. 大物面高时空分辨X射线条纹管成像研究[J]. 光学学报, 2018, 38(12): 1211003.

    Zhang J J, Zong F K, Lei B G, et al. Imaging of large format high spatiotemporal resolution X-ray streak tube[J]. Acta Optica Sinica, 2018, 38(12): 1211003.

[11] 顾礼, 宗方轲, 李翔, 等. 用于激光聚变的X射线条纹相机阴极检测系统[J]. 红外与激光工程, 2018, 47(8): 0817002.

    Gu L, Zong F K, Li X, et al. Photocathode detection system of X-ray streak camera for laser fusion[J]. Infrared and Laser Engineering, 2018, 47(8): 0817002.

[12] 孙剑峰, 魏靖松, 刘金波, 等. 条纹管激光成像雷达目标重构算法[J]. 中国激光, 2010, 37(2): 510-513.

    Sun J F, Wei J S, Liu J B, et al. Target reconstruction algorithm for streak tube imaging lidar[J]. Chinese Journal of Lasers, 2010, 37(2): 510-513.

[13] 袁清钰, 牛丽红, 胡翠春, 等. 基于高斯拟合的条纹管成像激光雷达目标重构[J]. 光子学报, 2017, 46(12): 1211002.

    Yuan Q Y, Niu L H, Hu C C, et al. Target reconstruction of streak tube imaging lidar based on Gaussian fitting[J]. Acta Photonica Sinica, 2017, 46(12): 1211002.

刘爱林, 张敬金, 李思宁, 孙剑峰, 牛丽红, 郭宝平. 条纹管激光成像雷达目标三维重构快速算法[J]. 中国激光, 2020, 47(1): 0110004. Ailin Liu, Jingjin Zhang, Sining Li, Jianfeng Sun, Lihong Niu, Baoping Guo. Fast Target Three-Dimensional Reconstruction Algorithm for Streak Tube Laser Imaging Radar[J]. Chinese Journal of Lasers, 2020, 47(1): 0110004.

本文已被 2 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!