由于可见光图和红外光图存在巨大的模态差异，可见光-红外光行人重识别是一个艰巨的任务。当前可见光-红外光行人重识别面临的主要问题是如何有效提取模态共享特征中的有用信息。为解决这个问题，提出了一个基于视觉Transformer的双流跨模态行人重识别网络，通过使用模态令牌嵌入模块和多分辨率特征提取模块来监督模型提取有辨别力的模态共享信息。此外，为了增强模型的辨别力，设计了模态一致性约束损失和特征中心约束损失。模态一致性损失会引导模型学习模态间的不变特征；特征中心约束损失会监督模型降低类内特征的差异性，增加类间特征的差异性。在SYSU-MM01数据集和RegDB数据集上的大量实验结果表明，所提方法优于大多数现有方法。在SYSU-MM01大型数据集上，所提模型的首位命中率和均值平均精度分别达到了67.69%和66.82%。

跨模态行人重识别是一项具有挑战性的行人检索任务。现有研究侧重于通过提取模态共享特征来减小模态间差异，忽视了对模态内差异和背景干扰的处理。为此，提出了一种掩模重构与动态注意力（MRDA）网络，该网络通过重构人体区域特征来消除背景杂波的影响，从而增强网络对背景变化的鲁棒性。此外，该网络结合了动态注意力机制，以过滤无关信息，动态挖掘并增强具有辨别力的特征表示，消除模态内差异的影响。实验结果显示：该网络在SYSU-MM01数据集的all-search模式下的第一个检索结果匹配成功的概率（Rank-1）和均值平均精度（mAP）分别达到70.55%和63.89%；在RegDB数据集的visible-to-infrared检索模式下的Rank-1和mAP分别达到91.80%和82.08%。在公共数据集上验证了所提方法的有效性。

针对传统视频异常事件检测算法准确率低、鲁棒性差等问题, 提出了一种基于双流残差网络的视频异常事件检测算法。该算法综合运用深层残差网络、时序分割网络以及卷积融合策略。在传统双流网络利用单帧图像和多帧光流图像分别提取运动信息和时序行为的基础上, 进一步加深网络深度, 扩展运动信息建模能力; 同时,利用分段构建网络的方式充分提取时序特征, 提升对长时间视频处理效果; 并且将高维时空特征进行融合, 充分挖掘视频中的时空关联关系, 得到最终检测结果。在公开的UCF-Crime和XD-Violence数据集上训练和验证的实验结果表明, 提出的基于双流残差网络的视频异常事件检测算法相较于仅使用单模态网络(空间流网络)的方法准确率提升约10%, 与传统双流网络相比, 准确率也分别提升3.2%和6.1%。

为了提升复杂背景下红外序列的行人动作识别精度，本文提出了一种改进的空时双流网络，该网络首先采用深度差分网络代替时间信息网络，提高时空特征的表征能力与提取效率；然后，采用基于决策级特征融合机制的代价函数对模型进行训练，可以更大限度地保留不同网络帧间图像的时空特征，更加真实地反映行人的动作类别。仿真结果表明，本文提出的改进网络在自建的红外视频数据集上获得了81%的识别精度，且计算效率也提升了25%，具有较高的工程应用价值。

由于传统的视觉里程计(VO)存在实现过程繁琐、计算复杂等问题,提出了一种基于改进双流网络结构的VO。所提VO使用双流卷积神经网络结构,能够将RGB图像、深度图像同时馈入模型进行训练,并采用Inception网络结构对卷积层进行改进,减少参数数量。同时,在卷积层中加入注意力机制,提升网络对图像特征的辨识度和系统的鲁棒性。为了评估所提模型,在KITTI数据集上进行了模型的训练与测试,并与VISO2-M、VISO2-S和SfMLearner进行对比。结果表明,相较于同样使用单目相机的VISO2-M和SfMLearner,所提模型在旋转误差和平移误差方面取得了较大的改善,可与使用双目相机的VISO2-S相媲美。

针对传统的双流网络不能有效提取视频序列中的有效帧和帧中的有效区域,而导致识别准确率低的问题,提出了一种基于时空交互注意力模型(STIAM)的人体行为识别算法。首先,利用两个不同的深度学习网络分别提取空间和时间特征;其次,设计一种掩模引导的空间注意力模型,用于计算每一帧上的显著性位置;然后,设计一种光流引导的时间注意力模型,用于定位每个视频中的显著性帧;最后,分别将时间、空间注意力获得的权重与空间特征、时间特征进行加权融合,使模型实现时空交互性。在UCF101和Penn Action数据集上与现有的方法进行比较,实验结果表明,STIAM具有较好的特征提取能力,可以明显提升行为识别的精度。

对视网膜血管形态特征的分析有助于视网膜相关疾病的诊断。为了能够更准确地分割出视网膜血管,提出一种基于双流网络的分割视网膜血管的方法。首先用具有编码器-解码器结构的卷积神经网络分别对整个血管和细血管进行分割;再将所得到的两个预测图进行融合,对融合后的图像去除伪影和噪声,得到最终的血管分割图。由于单独对细血管进行了分割,因此所提方法可以更有效地分割出一些难以识别的视网膜血管边缘和低对比度区域的细血管像素。实验结果表明,所提方法在DRIVE、STARE和CHASE_DB1三个数据库上的灵敏度分别达到0.8062、0.8308和0.8135,在性能上比其他方法更优。