针对目前深度学习在气体检测领域多聚焦于学习单个任务即气体定性分类或气体体积分数定量回归，忽略了相关任务间的信息关联性，降低了模型学习精度与效率等问题，提出了一种基于一维卷积神经网络和长短期记忆网络的多任务学习模型，即MTL-1DCNN-LSTM，并行实现了混合气体种类定性识别与体积分数定量回归。利用掺铥光纤，搭建了二级放大掺铥环腔光纤激光器，基于有源内腔吸收光谱法探测了CO₂和NH₃混合气体的吸收光谱数据。将实验数据放入多任务学习模型中训练，并进行超参数优化后，对测试集数据进行测试得到气体识别准确率为100%，NH₃体积分数预测决定系数为99.84%，CO₂体积分数预测决定系数为99.62%，优于单任务模型与传统的气体反演算法如反向传播神经网络和支持向量机。所提出的深度学习算法与有源内腔法相结合的方法，为吸收光谱型混合气体反演技术的进一步研究提供了新思路。

与高质量可见光图像相比，红外图像在行人检测任务中往往存在较高的虚警率。其主要原因在于红外图像受成像分辨率及光谱特性限制，缺乏清晰的纹理特征，同时部分样本的特征质量较差，干扰网络的正常学习。本文提出基于多任务学习框架的红外行人检测算法，其在多尺度检测框架的基础上，做出以下改进: 1) 引入显著性检测任务作为协同分支与目标检测网络构成多任务学习框架，以共同学习的方式侧面强化检测器对强显著区域及其边缘信息的关注。 2) 通过将样本显著性强度引入分类损失函数，抑制噪声样本的学习权重。在公开 KAIST数据集上的检测结果证实，本文的算法相较于基准算法 RetinaNet能够降低对数平均丢失率 (MR-2)4.43%。

针对在线更新式跟踪方法易受嘈杂样本干扰进而产生漂移现象的问题,在跟踪流程中加入丢失检测步骤,并结合多任务学习训练方式,提出一种适合长期跟踪的方法。该方法在跟踪过程中长期收集目标外观来构建动态样本库,根据样本相似度检测目标的丢失,并使用动态阈值适应不同目标,来减少跟踪器对嘈杂样本的学习。为使跟踪器建立完整的目标外观模型,本文联合训练短期记忆子任务和长期记忆子任务。在丢失目标后的重检测过程中,根据区域轮廓特征和目标尺度信息进行区域提议,以提高目标重检测的质量。该方法在目标跟踪数据集OTB-2015和VOT-2016上进行了评估,其精确度为90.8%,成功率为68.1%。实验结果表明,在遮挡等复杂场景下该方法可以有效地跟踪目标。

针对脱机手写体书写随意、字符分割困难和识别精度依赖字典等问题,提出了一种基于CTC-Atention脱机手写体文本识别算法。利用卷积神经网络(CNN)与双向长短时期记忆网络(BLSTM)实现对图像的特征编码,然后使用基于链接时序分类(CTC)模型和基于注意力机制(Attention-based)模型的多任务学习(MTL)框架实现对特征序列的解码。在训练过程中利用CTC模型和注意力机制模型同时训练,有效地解决了CTC预测局部信息时忽略了整体信息,以及注意力机制解码不受约束的问题。在经典的手写英文单词数据集IAM上进行实验,结果表明,该方法的字符准确率达到了93.4%,单词准确率达到了81.8%,证明了提出方法的可行性。

基于电子计算机断层扫描(CT)影像的肺叶分割是医生诊断和治疗肺部疾病的重要参考之一, 但肺叶边界的模糊以及手动分割的巨大工作量使得医生难以准确、快速地分割肺叶。为此, 提出了一种基于新型3D全卷积神经网络的肺叶自动分割方法。对原始CT图像进行预处理, 然后利用预处理后图像训练卷积神经网络,再将待分割图像输入到训练好的网络模型中, 实现CT图像中肺叶的自动分割。实验数据包括来自上海市肺科医院的50例肺部疾病患者的CT图像, 30例被用于训练, 20例被用于测试。对分割结果进行了定量评价, 其中Dice系数为0.961, Jaccard相似系数为0.916。实验结果表明该肺叶自动分割算法具有更好的分割性能以及更强的泛化能力, 即使在训练集数据较少的情况下, 也能够准确、快速的分割肺叶。

引入辅助任务信息有助于立体匹配模型理解相关知识,但也会增加模型训练的复杂度。为解决模型训练对额外标签数据的依赖问题,提出了一种利用双目图像的自相关性进行多任务学习的立体匹配算法。该算法在多层级渐进细化过程中引入了边缘和特征一致性信息,并采用循环迭代的方式更新视差图。根据双目图像中视差的局部平滑性和左右特征一致性构建了损失函数,在不依赖额外标签数据的情况下就可以引导模型学习边缘和特征一致性信息。提出了一种尺度注意的空间金字塔池化,使模型能够根据局部图像特征来确定不同区域中不同尺度特征的重要性。实验结果表明:辅助任务的引入提高了视差图精度,为视差图的可信区域提供了重要依据,在无监督学习中可用于确定单视角可见区域;在KITTI2015测试集上,所提算法的精度和运行效率均具有一定的竞争力。

近年来,视觉里程计广泛应用于机器人和自动驾驶等领域,传统方法求解视觉里程计需基于特征提取、特征匹配和相机校准等复杂过程,同时各个模块之间要耦合在一起才能达到较好的效果,且算法的复杂度较高。环境噪声的干扰以及传感器的精度会影响传统算法的特征提取精度,进而影响视觉里程计的估算精度。鉴于此,提出一种基于深度学习并融合注意力机制的视觉里程计算法,该算法可以舍弃传统算法复杂的操作过程。实验结果表明,所提算法可以实时地估计相机里程计,并具有较高的精度和稳定性以及较低的网络复杂度。

业务流程中事件日志的分析与预测可以为流程监控和管理提供决策信息,现有研究方法多针对特定单个任务预测,不同任务间预测方法的可迁移性不高。多任务预测可以共享多个任务间的信息,提升单个任务预测的精度,但现有研究对重复活动的多任务预测效果有待提高。针对以上问题,提出一种注意力机制与双向长短时记忆结合的深度神经网络模型,实现对业务流程中重复活动和时间的多任务预测。预测模型可以共享不同任务已经学到的特征表示,实现多任务并行训练。在多个数据集中对不同方法进行对比,结果表明,所提方法提高了预测效率和预测精度,尤其对重复活动的预测精度有较好提升。

特种视频(本文特指暴力视频)的智能分类技术有助于实现网络信息内容安全的智能监控。针对现有特种视频多模态特征融合时未考虑语义一致性等问题, 本文提出了一种基于音视频多模态特征融合与多任务学习的特种视频识别方法。首先, 提取特种视频的表观信息和运动信息随时空变化的视觉语义特征及音频信息语义特征; 然后, 构建具有语义保持的共享特征子空间, 以实现音视频多种模态特征的融合; 最后, 提出基于音视频特征的语义一致性度量和特种视频分类的多任务学习特种视频分类理论框架, 设计了对应的损失函数, 实现了端到端的特种视频智能识别。实验结果表明, 本文提出的算法在Violent Flow和MediaEval VSD 2015两个数据集上平均精度分别为97.97%和39.76%, 优于已有研究。结果证明了该算法的有效性, 有助于提升特种视频监控的智能化水平。

针对工业铝材缺陷检测中由缺陷样本稀疏带来的训练过拟合、泛化性能差等问题,提出一种基于多任务深度学习的铝材缺陷检测方法。先基于Faster RCNN设计一个包含铝材区域分割、缺陷多标签分类和缺陷目标检测的多任务深度网络模型;再设计多任务损失层,利用自适应权重对各项任务进行加权平衡,解决了多项任务训练中的收敛不均衡问题。实验结果表明,在有限的数据集支持下,相较于单任务学习,该方法能够在保持分割任务的均交并比(MIoU)指标最优的情况下,分别提高多标签分类和缺陷目标检测的准确率,解决了由铝材缺陷检测样本少引起的检测精度较低的问题。对于多任务应用场景,该模型能够同时完成三个任务,减少推断时间,提高检测效率。