1 中国传媒大学 信息与通信工程学院, 北京 100024
2 清华大学 电子工程系, 北京 100084
特种视频(本文特指暴力视频)的智能分类技术有助于实现网络信息内容安全的智能监控。针对现有特种视频多模态特征融合时未考虑语义一致性等问题, 本文提出了一种基于音视频多模态特征融合与多任务学习的特种视频识别方法。首先, 提取特种视频的表观信息和运动信息随时空变化的视觉语义特征及音频信息语义特征; 然后, 构建具有语义保持的共享特征子空间, 以实现音视频多种模态特征的融合; 最后, 提出基于音视频特征的语义一致性度量和特种视频分类的多任务学习特种视频分类理论框架, 设计了对应的损失函数, 实现了端到端的特种视频智能识别。实验结果表明, 本文提出的算法在Violent Flow和MediaEval VSD 2015两个数据集上平均精度分别为97.97%和39.76%, 优于已有研究。结果证明了该算法的有效性, 有助于提升特种视频监控的智能化水平。
特种视频识别 特征提取 多模态特征融合 语义一致性度量 多任务学习 special video recognition feature extraction multimodal feature fusion semantic correspondence measurement multitask learning
1 中国传媒大学 信息工程学院, 北京 100024
2 中国艺术科技研究所, 北京 100061
提出了改进的形状上下文算法以克服传统的形状上下文算法不具备旋转不变性这一缺点。该算法利用找寻包含采样点数最多的角度区间的方式改变图像角度, 对相对应的区域进行比较, 并计算匹配代价, 从而为形状上下文加入旋转不变性。为提高运算速度, 算法也引入了剪枝方法, 解决了进行直方图距离计算时遍历采样点的问题。实验显示, 本文的算法在公开数据库上测试得到的精确度召回率(PR)曲线与郑提出算法的PR曲线性能接近, 但是计算速度较其提升了近1倍;与传统的形状上下文算法相比, 提出算法的PR曲线更为优越, 且检索精度有较大提高。因此, 提出的算法综合检索性能更好, 能够有效地的应用于二值图像检索领域。
二值图像 图像检索 形状上下文 旋转不变性 剪枝 binary image image retrieval shape context rotation invariance pruning
