提出了一种基于近红外视频的心率检测方法。该方法采用正交分解投影结合奇异值分解（OP-SVD）的方法，实现了夜间运动状态下的高精度鲁棒性心率检测。该方法通过人脸标志点检测，将人脸分为多个感兴趣子区域，获得了多通道成像式光电容积描记（IPPG）信号；采用正交分解投影法去除多通道IPPG信号中的运动伪迹；接着利用奇异值分解法再次去噪，并通过重构子区域信号获得了高信噪比IPPG信号，最终实现了心率的准确提取。实验结果表明，与传统方法相比，该方法的误差最小，其平均绝对误差（MAE）值达到了3.14 bit/min。

为了在对空中小目标打击过程中实现对目标的准确检测与跟踪，针对空中红外弱小目标信噪比低、像素点少等特点，本文基于红外视频图像，采用高斯滤波以及 Top-Hat算子对图像进行预处理；利用边缘检测算法对图像中的目标进行检测与定位；根据检测得到的目标初始位置，通过核化相关滤波跟踪算法对目标持续跟踪；最后对跟踪效果做了定量评估。实验结果显示，跟踪最大视场角度误差不超过 0.0062.，运行速度平均每帧可达 25.3帧/s，该方法能够有效地对空中红外弱小目标进行自动检测跟踪。

针对红外视频人体行为识别问题, 提出了一种基于时空双流卷积神经网络的红外人体行为识别方法。通过将整个红外视频进行平均分段, 然后将每一段视频中随机抽取的红外图像和对应的光流图像输入空间卷积神经网络, 空间卷积神经网络通过融合光流信息可以有效地学习到红外图像中真正发生运动的空间信息, 再将每一小段的识别结果进行融合得到空间网络结果。同时将每一段视频中随机抽取的光流图像序列输入时间卷积神经网络, 融合每一小段的结果后得到时间网络结果。最后再将空间网络结果和时间网络结果进行加权求和, 从而得到最终的视频分类结果。实验中, 采用此方法对包含23种红外行为动作类别的红外视频数据集上的动作进行识别, 正确识别率为92.0%。结果表明, 该算法可以有效地对红外视频行为进行准确识别。

在无人车夜视红外视频彩色化问题中, 考虑到可同时利用单帧图像的信息和视频的帧间信息, 提出了一种双通道循环生成对抗网络（DcCCAN）对夜视红外视频进行彩色化。DcCCAN是在循环一致生成对抗网络（CCAN）的基础上提出的双通道生成网络。双通道生成网络具有良好的图像特征提取能力, 能够自动提取视频中待处理图像的特征, 同时提取先前模型所生成图像的特征, 然后将特征信息整合后生成一幅目标图像。通过在生成对抗性训练中引入循环一致性训练机制, 可无监督地学习得到红外域图像到彩色域图像的映射关系, 从而实现红外视频的彩色化。实验表明该方法能够为视频中的红外图像赋予自然的色彩信息和纹理信息, 且满足实时性要求。

红外视频中的舰船目标检测在渔政管理、港口监控等领域具有广泛的应用价值。传统的背景减除方法，如高斯混合模型(GMM)、码本算法(Codebook)和ViBe 算法等，在海面红外视频舰船检测过程中容易受到海浪的影响导致错误检测。本文提出一种新的算法框架实现红外海面视频中的舰船检测任务。该算法框架采用了Top-Hat 操作对红外图像进行预处理，从而有效过滤杂波，随后应用改进ViBe 算法完成对舰船目标的检测。实验结果表明，本文算法可以有效抑制背景噪声，取得了较好的检测效果。

提出了一种高速红外视频采集系统,重点介绍了系统关键模块——PCI-E采集卡的设计与实现。采集卡主要基于Kintex7系列现场可编程逻辑门阵列(Field-Programmable Gate Array, FPGA)的硬件结构,利用Aurora核与Xilinx 7系列PCI-E核成功地将高速光纤传输以及PCI-E技术应用于此系统。实验结果表明,这种高速红外视频采集系统可以稳定、可靠地长时间工作,非常适用于高帧频大面阵红外视频的实时采集、显示与存储。

考虑到红外视频的深度特征具有单帧图像的独特性和视频全局的连续性,在单目红外视频深度估计问题上提出一种基于双向递归卷积神经网络(BrCNN)的深度估计方法。BrCNN在卷积神经网络(CNN)能够提取单帧图像特征的基础之上引入循环神经网络(RNN)传递序列信息机制,使其既具有CNN良好的图像特征提取能力,能够自动提取视频中每一帧图像的局部特征,又具有RNN良好的序列特征提取能力,能够自动提取视频中每一帧图像所包含的序列信息,并向后递归传递这种信息。采用双向递归的视频序列信息传递机制来估计红外视频的深度,提取到的每一帧图像的特征都包含了视频前后文的序列信息。实验结果表明,相对于传统CNN提取单帧图像特征进行的估计,使用BrCNN能够提取更具有表达能力的特征,估计出更精确的深度。

提出了基于运动纹理差异的运动目标分割无监督评价方法。通过基于贝叶斯决策的精确量化准则得到差分图像的类别映射图, 利用区域生长方法产生不同效果的运动目标分割掩膜, 定义了运动纹理差异的评价准则, 并将该评价准则用于这些分割掩膜中以验证评价结果的有效性。为进一步准确衡量所提出准则的性能, 在实验中将其与两种评价准则进行对比, 一是有监督评价准则 ME, 二是基于彩色纹理的无监督评价方法 JSEG中的无监督评价准则 J。实验结果证明基于运动纹理差异的无监督评价与人类主观感知和客观实际基本一致, 可有效地对红外视频运动目标分割性能进行无监督评价。

红外与微光的融合算法及相关产品的性能验证需要同步仿真视频源。本文提出了一种基于 Vega的红外与微光视频的同步仿真方法, 研发了基于 FPGA的串口数据并行发送装置, 实现对视频仿真的同步控制; 并开发了串口程序和动态仿真控制程序, 实现串口监控、数据接收、数据识别、仿真控制等功能; 借助于计算机和控制板之间的串口通信技术, 实现了两台计算机同步仿真红外视频和微光视频, 最后通过图像融合分析验证了该方法的有效性。