1 引言

出于安全防护等特殊要求,坦克等特种车辆的驾驶舱往往处于封闭状态,驾驶人员不能直接从驾驶舱内观察到舱外的行驶环境。因此,此类特种车辆需要专门的舱外观察系统来实现有效观察。尤其是对于坦克、自行火炮等作战车辆而言,舱外观察系统的技术水平将直接影响到平台整体机动性和火力打击准确性。目前,特种车辆舱外观察系统主要采用潜望镜或者云台观察系统^[1]。潜望镜结构原理十分简单,但由于包含诸多机械与光学部件,存在成本高昂、易于损毁、改进升级困难等问题^[2]。同时,安装潜望镜结构的舱外观察系统时,需要在坦克装甲上进行大口径开口,硬件部分将占据车体内外空间,一方面减小了坦克防护装甲面积,降低防御性能,另一方面可使得舱内空间更加狭小。潜望镜结构的舱外观察系统仍采用人工瞭望方式,即在舱内有专人根据行驶和作战需要,时时保持对潜望镜的操作和观察,向驾驶人员和射击操作人员口述舱外场景信息。这种传统的操作方式明显增加了舱内驾驶人员的操作负担,而且使舱外场景信息无法时时精确地传达。部分坦克等特种车辆的舱外观察系统采用了云台结构^[3]:车体外置安装有摄像头的云台,通过云台360°旋转拍摄,向舱内显示器提供舱外场景。与潜望镜结构相似的是,云台结构观察系统的机械结构复杂、造价昂贵,也需要驾驶人员手动操控云台转动,在舱内显示器上观看舱外场景。采用这种结构一定程度上克服了潜望镜结构操作负担重、信息无法时时精准传达等问题,但也存在舱外观察视野较狭窄、使用与操作不方便等问题。

王永杰^[4]提出了一种坦克车载视频观察系统,将安装了摄像头的云台置于车体外壁,驾驶人员在舱内控制云台从不同角度采集视频数据,并将数据显示在舱内显示器上。该系统采用体积较大的舱外云台结构,在实战中容易被损毁,且云台外形会减弱坦克的隐蔽性。云台拍摄采集的视频图像是分立的,显示时未进行全景拼接,使观察景象不够全面、连续,进而会影响对战场全局的掌控。同时,由于该系统需要手动操控云台和适时观察显示器,一定程度上会分散驾驶人员的注意力,影响作战操作。

沈峘^[5]提出了一种基于拼接视频图像的汽车行驶记录系统,将多个摄像机置于汽车车身外壁,将摄像机拍摄的多路视频通过视频拼接处理模块进行图像拼接,获得车身360°全景图像,并将其呈现在显示器上。该系统直接在车体外布置多个摄像头,有效解决了车体外置云台所带来的隐蔽性、易损性和结构复杂性等问题,且无需驾驶人员手动操纵舱外观察系统。同时,该系统能够进行视频图像的全景拼接,解决了观察景象不够全面、连续的问题。从驾驶人员的舱外观察需求来看,该系统对多个摄像机采集的所有图像进行360°全景拼接是非必要的,因为实际中会产生图像信息过剩问题,使视频处理模块的数据处理负担加重,从而影响舱外场景信息的连续实时显示。此外,该系统同样需要驾驶员实时观察显示器,因此容易分散其注意力,增加安全隐患。

杨磊等^[6]提出了一种基于现场可编程门阵列(FPGA)的大视场图像实时拼接技术,以FPGA为核心完成视频数据的实时采集、缓存、拼接及传输。该技术对图像进行亮度调整,主要利用相位相关法完成相对平移量检测,然后进行配准,最终采用线性加权融合算法对配准图像进行融合处理;该系统简单可靠,可以有效增大可观测视场,该处理方法的清晰度高,实时性强。但是,所采用的相位相关法借助图像的傅里叶变换过程,通过计算相邻图像的互功率谱密度,求出相邻图像的平移量,计算过程受图像像素值的影响。因此,该配准方法极易受到摄像头拍摄情况的影响,当各个摄像头处于光照情况不同或者拍摄参数不一致的情况时,配准精确度降低。

光电分布式孔径系统(EODAS)是光电系统的发展方向,其结合了光电系统的被动探测和分布式结构的全向功能特点,可在当前越来越复杂的战争环境下提升平台的环境态势感知能力^[7];该系统通过多图像采集设备协同的工作方式,调用多个子孔径对目标进行全息探测,然后将探测信息综合起来,得到较大的数值孔径,使得使用人员可以感知更加开阔的视野。孙天齐等^[8]提出了一种基于C++语言与OpenCV的分布式孔径成像系统设计方案,利用C++语言编写了基于加速健壮特征(SURF)算法的数字成像软件,利用OpenCV函数库进行了孔径间图像缩放、旋转校正、误差匹配等操作。但是,该方案基于软件处理,SURF算法执行较为耗时,因此无法满足实时性要求较高的场合。

本文提出了一种基于视角显示的特种车辆舱外观察系统方案及新型视频处理方法。该方案属于EODAS中的一类,通过舱外摄像头组拍摄多路视频,利用位置敏感探测器(PSD)光学定位^[9]与惯性传感单元姿态传感电路模块协同处理,获取当前驾驶人员的视角信息。新型视频处理方法为:1)根据视角信息提取所对应的视频图像,进行视频图像的校正、稳像、特征匹配与图像融合处理过程的硬件电路实现;2)充分利用硬件并行结构对图像特征匹配尺度不变特征变换(SIFT)算法进行加速^[10],形成一幅大视场的舱外场景图像;3)借助头盔显示器以透视叠加形式直接呈现在驾驶人员眼前,实现基于视角的特种车辆大视场观察。该方案可以有效克服传统潜望镜观察结构复杂、成本昂贵、操作不便、易于损毁、占用空间等缺陷,也改进了云台观察系统需要手动操作与常规显示分散注意力等问题,并且有效避免了360°全景图像拼接的信息过剩与处理器负担过重问题。此外,该方案采用图像特征进行配准,利用硬件算法加速图像特征计算过程,提高了系统实时性,最终可使驾驶人员更便捷、全面、连续地观察舱外环境,增强了驾驶人员对舱外环境和态势的感知能力。

2 视角求解模型

驾驶人员于舱内佩戴头盔,头盔上置有PSD探测电路与姿态传感电路,驾驶位置后上方的900 nm 红外发光二极管(LED)持续发光,照射至PSD成像面上,照射光斑在成像面上的不同位置将会产生不同的电流信号,根据电流大小即可求出光斑在成像面上的坐标^[11],进而推出头盔位于舱内的坐标;驾驶人员佩戴头盔于舱内进行活动时,头盔上的MPU9250九轴姿态传感器也随之运动,陀螺仪、加速度与磁力计分别感知头部运动的角速度、加速度和地磁感应量,利用互补滤波融合三者信息后,对驾驶人员头部姿态进行求解,得到俯仰、偏航与滚转等姿态角^[12];求解得到头盔的舱内坐标、姿态角后,通过协同处理求出当前驾驶人员的观察视角信息。

2.1 PSD探测模型

二维PSD传感器能够准确给出入射光点在光敏面上的位置,当入射光斑较小时,PSD传感器可快速探测出光斑能量中心的位置,响应时间为微秒级,且其可对光斑位置进行连续测量,同时PSD传感器对于光斑形状无特殊要求^[13]。图1所示为二维PSD传感器工作原理,其拥有4个电流输出管脚,工作时根据光斑坐标位置输出4路不同大小的电流^[13-14]。以PSD传感器光敏面中心作为坐标原点,设4个电极输出电流分别为I₁、I₂、I₃、I₄,光敏面尺寸为L×L,则其光斑能量中心坐标与4路电流之间的关系为

x=L2·I2-I1I2+I1y=L2·I4-I3I4+I3。(1)

图 1. PSD传感器工作原理

Fig. 1. Working principle of PSD sensor

下载图片 查看所有图片

PSD传感器与头盔完全固连,将头盔位置后上方LED光斑照射在PSD成像面上进行成像,随着头盔不断地运动,得到LED光斑成像位置的运动轨迹。各坐标系为^[15]:舱内坐标系为Oxyz;头盔坐标系为Ox₁y₁z₁;PSD传感器固定于头盔顶部z轴方向,成像面朝向车顶,则成像坐标系定义为O'x_gy_gz_g。由PSD传感器与头盔的固定关系可知,成像坐标系是头盔坐标系Ox₁y₁z₁沿Oz₁轴平移f(f为光学透镜焦距)得到的,各坐标系关系如图2所示。

图 2. 各坐标系转换关系示意图

Fig. 2. Relations of transformation in coordinate system

下载图片 查看所有图片

2.2 惯性姿态传感模型

MPU9250九轴姿态传感器与头盔同样固连,传感器z轴方向与头盔竖直向上轴线保持重合,x轴方向与头盔佩戴正向保持重合且与z垂直,y轴方向则设置与头盔横向且同时与x、z轴保持垂直。各坐标系关系如图3所示,定义舱内坐标系Oxyz为参考坐标系,x₁y₁与xy平面的相交为交点线ON;定义头盔偏航角ϕ为x轴与交点线的夹角,横滚角γ为z₁轴与z轴的夹角,俯仰角φ为x₁轴与交点线的夹角^[16]。

图 3. 惯性姿态传感坐标轴关系

Fig. 3. Relation of inertial attitude sensing axis

下载图片 查看所有图片

以舱内坐标系Oxyz作为固定的参考系,头盔坐标系Ox₁y₁z₁在Oxyz中运动,产生俯仰、偏航与滚转的变化。由姿态传感器的三轴陀螺仪数据对时间进行积分,求得上述三个姿态角,同时引入加速度计/磁力计的融合校正,最终求得头盔相对于舱内的三个姿态角:俯仰角φ、偏航角ϕ和横滚角γ^[16]。

2.3 位置与姿态组合求解视角过程

舱内坐标系中,头盔的实时坐标为O(x_o,y_o,z_o),LED照射光斑点的坐标为T(x_t, y_t, z_t),根据图2和图3中的各坐标关系,LED光斑在PSD成像坐标系中的坐标位置T'为(x', y', z'),其计算公式^[15]为

x'y'z'=cosϕcosφcosϕsinφsinϕ-sinφcosγ-sinϕcosφsinγcosφcosγ-sinϕsinφsinγcosϕsinγsinφsinγ-sinϕcosφcosγ-cosφsinγ-sinϕsinφcosγcosϕcosγxt-xoyt-yozt-zo。(2)

成像过程中,由于敏感面处于光学镜头的焦平面上,成像坐标系中目标点z轴坐标值z_g恒等于0,此时光学透镜的焦距为f,因此可得到目标成像点T'_g(x_g, y_g, z_g)与目标点在PSD成像坐标系坐标点的位置关系^[17]为

xgyg=fz'x'y'。(3)

根据实际测量得到的PSD成像坐标系中的LED光斑点成像坐标T'_g(x_g, y_g, z_g)、舱内坐标系中的目标点坐标T(x_t, y_t, z_t)和头盔姿态角φ、ϕ、γ,可以求出头盔在舱内坐标系中的坐标位置O(x_o, y_o, z_o),最终求得头盔的视角信息。

3 基于视角显示的舱外观察系统设计

基于视角显示的舱外观察系统总体结构如图4所示。载具外部以对称方式布置摄像头组,使得拍摄视角覆盖车身360°视场;头盔上置有PSD光学定位与姿态传感电路,用于获取头盔位于舱内位置与姿态角,并协同求解出头盔对应的视角信息;视频处理电路利用视角信息选取对应的视频图像,进行校准、电子稳像与图像特征匹配等处理后,形成一幅大视场舱外场景图像,将其送至透视显示器,从而将舱外场景透视呈现于驾驶人员眼前。

3.1 PSD位置探测与姿态传感电路设计

PSD位置探测系统选用波长为900 nm、功率为0.5 W的LED作为基准光源,并将其安装在驾驶人员位置的后上方车顶处。PSD信号处理电路设计方案如图5所示,其中包括PSD传感器、4路电流/电压(I/V)转换电路、4路方法滤波电路、4通道高速模数(AD)采样模块以及采集主控FPGA等^[18]。PSD传感器工作时,测量发射激光光斑在探测面上的能量中心位置坐标,根据坐标输出4路电流信号;4路电流信号输入I/V转换电路后,被等比例转换成模拟电压信号;4路模拟电压信号经过放大滤波电路,经滤波处理,同时放大合适倍数供后续处理;微处理器通过控制高速AD转换芯片时序来进行4路电压信号的高速采样,其中4通道高速AD采样模块采用带采样保持的AD转换芯片MAX1304。

图 4. 基于视角显示的舱外观察系统总体结构示意图

Fig. 4. Structure of outboard observation system based on visual display

下载图片 查看所有图片

图 5. PSD信号处理电路设计方案

Fig. 5. Design of PSD signal processing circuit

下载图片 查看所有图片

姿态传感系统采用MPU9250九轴微机电系统(MEMS)传感器,将其固定于头盔上。MPU9250姿态传感电路设计方案主要利用惯性传感量测量头盔姿态,包括三轴角速度、三轴加速度与三轴磁感应量,基于三轴角速度数据并利用四元数旋转矩阵求解头盔姿态角,并结合三轴加速度数据对俯仰角与横滚角进行融合修正,结合三轴磁感应量对偏航角进行融合修正。头盔姿态角的互补融合滤波算法流程如图6所示。

图 6. 头盔姿态角的互补融合滤波算法流程图

Fig. 6. Flow of complementary fusion filtering algorithm for helmet attitude angle

下载图片 查看所有图片

3.2 头盔视角与对应视频图像区域求解

利用第3.1节中求得的头盔相对舱内的位置与头盔自身的姿态角,即可求解出当前的头盔视角信息。头盔视角求解原理如图7所示,其中舱外各个摄像头拍摄的画面编号为P_i(1≤i≤n,n为摄像头总数)。获取当前头盔相对于舱内的位置坐标O(x_o, y_o, z_o)、俯仰角φ、偏航角ϕ及横滚角γ后,利用位置坐标O(x_o, y_o, z_o)与偏航角ϕ确定视角所对应的单幅图像P_i或者连续两幅相邻的图像P_i与P_i+1;利用俯仰角φ、横滚角γ和透视显示器的图像放大比例k确定图像显示区域与图像旋转信息,其中图像放大比例k为图像实际大小D与透视显示器对人眼呈现场景显示大小D'之比。

图 7. 头盔视角求解原理图

Fig. 7. Helmet perspective solution principle

下载图片 查看所有图片

3.3 头盔透视显示器设计

头盔透视显示器光学系统设计如图8所示。有机发光二极管(OLED)微型显示器接收得到的大视场场景图像并将其进行显示;显示图像光线经反射镜反射后进入分光镜,有效光线穿过分光镜进入凹面反射镜,被放大反射后重新进入分光镜;显示图像光线被再次分束后,有效光线进入驾驶人员眼中;与此同时,外部光线也经过分光镜后进入人眼,最后形成封闭舱内的外部场景透视叠加显示^[19]。利用光学设计软件ZEMAX进行系统等效设计,如图9所示。

图 8. 透视显示器光学系统设计示意图

Fig. 8. Design diagram of optical system for perspective display

下载图片 查看所有图片

图 9. ZEMAX等效光学设计示意图

Fig. 9. Schematic of ZEMAX's equivalent optical design

下载图片 查看所有图片

3.4 新型视频处理方法

所提方案对图像进行处理的主要流程包括:摄像头图像畸变校正、选定图像特征解算、图像的电子稳像、相邻图像的配准平移量计算以及图像融合处理等。图像畸变校正由STM32处理器执行,畸变校正效果如图10所示,图10(a)为畸变校正前图像,图10(b)为畸变校正后图像。后续处理均利用Zynq SoC处理器编写硬件电路模块,实现加速。

3.4.1图像特征处理算法的硬件实现^[10,20-21]

基于Zynq SoC处理器的图像特征计算与配准硬件加速过程总体结构如图11所示。DDR3内存电路接收经过畸变校正的视频图像数据,同时先入先出模块(FIFO)读取DDR3内存电路中的视频数据后,将数据送至图像特征计算模块。该模块是硬件SIFT图像特征计算的核心部件。硬件SIFT图像特征算法的处理流程如下。

图 10. 畸变校正效果示意图。(a)畸变校正前图像;(b)畸变校正后图像

Fig. 10. Effect of distortion correction. (a) Image before distortion correction; (b) image after distortion correction

下载图片 查看所有图片

图 11. 基于Zynq SoC处理器的图像特征计算与配准硬件加速过程的总体结构图

Fig. 11. Overall structure diagram of hardware acceleration process of image feature calculation and registration based on Zynq SoC processor

下载图片 查看所有图片

1) 对原始视频图像进行不同尺度的高斯滤波。Zynq SoC处理器的FPGA部分利用2个先入先出模块和6个D触发器(D flip-flop),并配合3×3的高斯滤波模版对视频图像流进行滤波处理。该过程等效于生成一个3×3的窗函数进行高斯滤波。硬件电路结构如图12(a)所示;等效的高斯滤波窗函数如图12(b)所示,9个像素(G_ij,1≤i≤3,1≤j≤3)排列成完整的窗函数矩阵,各个像素值须满足:

G11=G13=G31=G33G12=G21=G23=G32G11+G12+G13+G21+G22+G23+G31+G32+G33=1。(4)

对每9个视频像素时钟进行一个窗函数的滤波处理。高斯滤波的效果示意图如图13所示,图13(a)、(b)分别为原始图像经过高斯滤波后的图像。

图 12. 高斯滤波的硬件电路实现示意图。(a)硬件电路结构;(b)高斯滤波窗函数

Fig. 12. Hardware circuit implementation of Gaussian filtering. (a) Hardware circuit structure; (b) window function of Gaussian filter

下载图片 查看所有图片

图 13. 原始图像与高斯滤波图像效果示意图。(a)原始图像;(b)经过高斯滤波的图像

Fig. 13. Original image and effect of Gaussian filtering image. (a) Original image; (b) image filtered by Gaussian filter

下载图片 查看所有图片

2) 采用简单的硬件隔点采样对原始图像进行降采样处理,再进行不同尺度的高斯滤波。

3) 利用图14所示的结构搭建高斯尺度金字塔,同时利用各个相邻图像高斯滤波后的图像进行作差,得到差分高斯金字塔(DOG)。

4) 图像特征极值点与特征点方向确定。对于步骤3)已经确定的差分高斯金字塔图像,采用2×3个FIFO(FIFOi,0≤i≤5)、9×3个D触发器(Dj,0≤j≤26)对差分高斯金字塔DOG0~DOG2进行极值点检测,并行检测硬件电路如图15所示,再利用与高斯滤波相似的硬件实现原理进行处理,最终确定图像中的极值点位置。确定图像极值点位置后,以特征点坐标(x, y)为基准,以3×1.5倍的特征尺度为半径,计算其像素梯度方向与梯度幅值,像素梯度方向θ(x,y)与梯度幅值m(x,y)的计算公式分别为

m(x,y)=(L(x+1,y)-L(x-1,y))2+(L(x,y+1)-L(x,y-1))2θ(x,y)=arctan[(L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))],(5)

式中:L_(x,y)为中心特征点邻域高斯图像梯度的距离值。特征点方向确定后,即完成图像特征求解过程。由于FPGA部分编写浮点运算电路较为复杂且耗费资源,所提方案采用Zynq SoC处理器的ARM部分进行特征点方向确定,FPGA部分与ARM部分采用AXI数据总线进行数据交互。最终图像特征极值点与特征方向确定的效果如图16所示。

图 14. 构建高斯尺度金字塔与差分高斯金字塔的原理示意图

Fig. 14. Schematic diagram of Gaussian scale pyramid and differential Gaussian pyramid

下载图片 查看所有图片

图 15. 并行检测硬件电路示意图

Fig. 15. Schematic of hardware circuit for parallel detection

下载图片 查看所有图片

图 16. 图像特征极值点与特征方向确定效果图。(a)原图像;(b)特征图像

Fig. 16. Effect of image feature points and direction determination. (a) Original image; (b) characteristic image

下载图片 查看所有图片

3.4.2 电子稳像的硬件实现

电子稳像的过程相当于视频图像帧自身前后图像配准的过程,用以消除因摄像头抖动、驾驶人员头部剧烈晃动而产生的图像抖动,从而提高图像显示的稳定性^[22-23]。处理流程如图17所示,核心原理为:利用其中的图像抖动判断模块判断前后相邻两帧图像特征变动幅度的大小,从而确定其抖动程度,当相邻两幅图像帧特征匹配度低于预置阈值时,即视为抖动过大,便自动舍弃当前图像,采用上一帧图像作为当前图像,以快速实现电子稳像过程。

3.4.3 图像平移与融合处理的硬件实现

图像平移的过程相当于相邻视频图像帧之间图像配准的过程。处理流程如图18所示,左右帧图像存在视角重叠区域,该区域的图像特征相似度较大,特征区域判定模块的工作原理为:图像处理模块以预设的图像区域大小选取左侧图像中右侧边缘区域的特征点,同时从右侧图像左边缘选取相同大小区域的特征点,进行相似程度检测;同时图像处理模块还以一定的移动步长将右侧图像上选择区域水平右移,并重复相似度检测过程,将相似度最高区域的水平平移值确定为左右图像平移量。同样,由于FPGA部分编写浮点数计算较为复杂,图像融合过程计算交由Zynq SoC处理器的ARM部分执行,利用加权平均算法进行图像的融合,使得左右图像平滑拼接。

4 实验与分析

4.1 位置探测、姿态传感与视角实验与分析

实验结果如表1所示,实验流程为:1)设定10组不同视角与姿态的头盔状态,模拟驾驶人员在舱内的运动状况,方向设定范围为0°~360°,车体正前方向设为0°,方向角沿顺时针旋转增大,直至360°,俯仰设定范围为-90°~90°,仰起为正,俯下为负;2)同时利用PSD位置探测模块与姿态传感模块测量头盔状态,并根据预定视角求解策略计算出相应视角;3)进行对比。

通过验证实验,将测量计算得到的视角信息与预置视角信息进行对比,可得到该系统对视角解算的方向和俯仰误差均不超过1°,达到了良好的精确度。

图 17. 基于图像特征的电子稳像硬件实现流程图

Fig. 17. Flow chart of hardware realization for electronic image stabilization based on image features

下载图片 查看所有图片

图 18. 图像配准与融合处理的硬件实现流程图

Fig. 18. Flow chart of hardware realization for image registration and fusion processing

下载图片 查看所有图片

4.2 图像特征提取、电子稳像与匹配实验结果与分析

实验中图像特征提取与耗时对比实验结果如表2所示,电子稳像实验结果如表3所示,图像匹配融合实验结果如图18所示。图像特征提取实验中,选取若干幅图像,分别在主频3.0 GHz的计算机(PC)环境下利用opencv 2.4.10视觉处理库进行SIFT图像特征提取,以及利用所提系统的Zynq SoC处理器进行硬件SIFT算法图像特征提取。电子稳像实验中,先输入一段300帧图像的视频,然后在电子稳像与非电子稳像情况下,分别统计输出视频中相邻图像间的特征点匹配率。

通过对比实验可知:

1) 所提方案采用的基于Zynq SoC处理器的硬件SIFT图像匹配算法与PC环境下利用opencv开源视觉处理库得到的特征点重合率在90%以上;PC环境下匹配耗时3~5 s,所提方案利用基于Zynq SoC处理器的硬件SIFT算法进行加速,将特征提取耗时降至毫秒数量级,有效提高了图像匹配的实时性。

2) 电子稳像实验结果表明,所提方案采用的基于图像特征匹配预置的电子稳像处理过程将视频中相邻图像特征匹配度大于50%的比例从56.39%提升至80.34%,能够有效地去除拍摄时抖动或者其他情况导致的图像抖动,增强图像连续显示的稳定性。

3) 图像匹配融合实验结果表明,所提方案基于硬件加速的图像SIFT特征匹配算法,可以有效地完成基于特征的图像融合,具有良好的显示效果。

5 结论

提出了一种基于视角显示的特种车辆舱外观察系统方案,经过设计实现与对比实验,得到以下结论:

1) 该观察系统仅需在车辆外部布置摄像头,可以避免潜望镜或者云台等设备的引入,大幅降低系统硬件复杂度和成本投入;

图 19. 图像特征匹配与融合硬件实现实验结果。(a)左图像;(b)右图像;(c)图像特征匹配与融合示意图

Fig. 19. Experimental results of hardware realization for image feature matching and fusion. (a) Left image; (b) right image; (c) schematic diagram of image feature matching and fusion

下载图片 查看所有图片

2) 该观察系统提出的PSD光学定位与惯性姿态传感结合测量驾驶人员视角信息方法,结构简单、精度高,在设置不同视角参照下,测量方向与俯仰误差不超过1°;

3) 该观察系统提出的基于Zynq SoC处理器的SIFT图像特征匹配算法硬件实现方法,相对于软件执行,具有计算快速、实时性好、精度较高等优势,通过与基于opencv开源计算机视觉库进行对比,得到其特征匹配度在90%以上。

4) 该观察系统提出的基于图像特征的电子稳像方法可有效稳定图像输入,降低图像显示的起伏波动。实验结果表明,该方法可将相邻视频图像帧匹配度≥50%的比例提升至80%以上,具有良好的电子稳像功能。

综合而言,该观察系统为特种车辆舱外观察技术的研究提供了新思路、理论与工程参考依据。