为了更好地对人体动作的长时时域信息进行建模,提出了一种结合时序动态图和双流卷积网络的人体行为识别算法。首先,利用双向顺序池化算法来构建时序动态图,实现视频从三维空间到二维空间的映射,用来提取动作的表观和长时时序信息;然后提出了基于inceptionV3的双流卷积网络,包含表观及长时运动流和短时运动流,分别以时序动态图和堆叠的光流帧序列作为输入,且结合数据增强、模态预训练、稀疏采样等方式;最后将各支流输出的类别判定分数通过平均池化的方式进行分数融合。在UCF101和HMDB51数据集的实验结果表明:与传统双流卷积网络相比,该方法可以有效利用动作的时空信息,识别率得到较大的提升,具有有效性和鲁棒性。

为克服方向梯度直方图(HOG)特征在人体行为识别中仅表征动作的全局梯度特征、缺乏局部细节信息、对遮挡表现不佳的问题,改进了一种基于全局特征和局部特征的方法来实现人体行为识别。该算法首先使用背景减法获得人体运动区域;方向可控滤波器能有效描述动作边缘特征,通过引入方向可控滤波器改进HOG特征以增强局部边缘信息,同时对加速稳健特征进行k-means聚类获得词袋模型;最后将融合后的行为特征输入支持向量机对行为特征进行分类识别。在数据集KTH、UCF Sports和SBU Kinect Interaction上进行仿真模拟,结果表明改进的算法识别准确率分别达到了96.7%、94.2%和90.8%。

为了解决类能量图易受人体运动时间和位置移动等因素影响而难以有效描述动作细节特征的问题, 本文提出了一种基于类能量图金字塔梯度直方图(PHOG)融合特征和多类别Adaboost分类器的人体行为识别方法。该方法首先对经过躯体配准的运动人体目标轮廓图像构造平均运动能量图(AMEI)和增强的运动能量图(EMEI), 分别提取其分层梯度方向直方图(PHOG)特征并进行串联融合, 作为一种多层次的行为特征描述; 然后使用基于查找表的LUT-Real Adaboost算法设计多类别分类器, 实现图像中人体行为动作的识别。实验结果显示其在典型的人体动作数据集DHA上的正确识别率达97.6%, 高于其它采用单一特征描述和SVM等分类器的方法。表明该方法将整体与局部特征相结合, 可以有效描述不同尺度下的动作细节特征, 增强了人体行为特征的描述能力, 提高了识别性能。

人体行为识别是计算机视觉和模式识别领域的研究热点之一。作为人体行为识别的一个重要分支, 人体异常行为检测近年来也不断得到学界及工业界的重视。人体行为识别研究从早期的依赖人体形状特征发展到基于梯度设计的特征检测, 再到当前随着神经网络的新发展, 深度学习开始广泛应用于行为识别。同时由于红外波段具有适应弱光照环境、可全天候检测等优点, 基于该波段的人体行为识别研究开始兴起, 它也必将成为人体行为识别领域中一个新的研究热点。

针对红外视频人体行为识别问题, 提出了一种基于时空双流卷积神经网络的红外人体行为识别方法。通过将整个红外视频进行平均分段, 然后将每一段视频中随机抽取的红外图像和对应的光流图像输入空间卷积神经网络, 空间卷积神经网络通过融合光流信息可以有效地学习到红外图像中真正发生运动的空间信息, 再将每一小段的识别结果进行融合得到空间网络结果。同时将每一段视频中随机抽取的光流图像序列输入时间卷积神经网络, 融合每一小段的结果后得到时间网络结果。最后再将空间网络结果和时间网络结果进行加权求和, 从而得到最终的视频分类结果。实验中, 采用此方法对包含23种红外行为动作类别的红外视频数据集上的动作进行识别, 正确识别率为92.0%。结果表明, 该算法可以有效地对红外视频行为进行准确识别。

为解决由视角、尺度等变化造成的行为类内差别大的问题,提出一种基于时空方向主成分直方图(HSTOPC)的人体行为识别方法。首先,将深度图序列转换为三维(3D)点云序列,对此序列采用新颖的图像预处理方法获得新的深度图序列,即在空间和时间维度上对采样获得的深度图序列进行限制,除去一些动作信息量较少的序列和空间,从而降低输入数据的冗余减少空间尺度变化的影响;其次,为了解决帧间关联性较弱的问题,采用时空方向主成分方法描述新的点云序列,获得3D点云序列中每点的方向特征;然后,对3D点云序列中所有方向特征进行多层时域重叠分割,获得HSTOPC特征描述子;最后,采用支持向量机分类器进行训练、测试。在3个标准数据库上的实验结果表明,提出的HSTOPC特征描述子对噪声、运动速度变化、视角变化和时域不对齐具有很好的稳健性,可以显著提高人体行为识别的准确率。

为了准确地描述人体骨骼的运动细节以及3D骨骼间的几何关系,提出一种基于四元数3D骨骼表示的人体行为识别方法。首先,在已捕获的关键帧集合的基础上,对普通关键帧和变速关键帧分别采用线性插值和二次多项式插值,获得相同帧数的骨骼序列;然后,针对所得的骨骼序列,采用四元数对每帧中3D骨骼间的几何关系进行描述,获得四元数骨骼特征描述子;最后,采用支持向量机分类器对这一系列特征描述子进行训练和测试,得到最终的识别结果。在3个标准数据库上的实验结果均显示,四元数骨骼特征描述子对噪声、运动速度变化、视角变化和时域不对齐都具有很好的稳健性,可以显著提高人体行为识别的准确率。

为了解决协作表征分类器(CRC)对相似样本误分类概率高的问题,提出一种判别协作表征分类器(DCRC)。该分类器考虑了所有训练样本和每一类样本对协作表征系数的影响,得到判别性强的协作表征系数,提升了对相似样本的判别性。基于DCRC进行人体行为识别研究。首先用深度运动映射图(DMMs)提取深度动作序列特征,得到DMMs特征描述子,然后利用DCRC对特征描述子进行协作表征编码,最后利用新的判别规则进行分类识别。在人体行为识别数据集上的实验结果表明,DCRC对相似动作具有一定的判别性,且识别精度优于现有的方法。

为了提高人体动作识别的准确率和实时性, 提出了一种基于关键帧的人体行为识别新方法。用Kinect提取人体骨架信息(各关节点的3D坐标), 将中心点(人体基准参考点)分别与其他各关节点作结构向量, 根据空间不变性选取中心向量, 计算各个结构向量和中心向量之间的夹角,并将夹角的角速度作为一种新的姿态描述特征, 利用AP (Affinity Propagation)聚类算法提取关键帧, 利用SVM将得到的关键帧进行动作序列的分类。在Cornell Activity Dataset-60 (CAD-60)数据库实验结果表明, 新方法具有良好的识别能力。

为了提高对视频序列中人体行为的识别能力, 建立了基于局部特征的动作识别框架。通过时空特征提取及编码和SVM分类器参数优化两部分对该框架所涉及算法进行了研究。首先, 采用Harris3D检测器获取时空兴趣点(STIP), 以方向梯度直方图(HOG)和光流方向直方图(HOF)对STIP进行描述, 并引入Fisher向量实现对特征描述子的编码; 由于固定参数下SVM动作分类模型存在泛化能力不足的问题, 将粒子群算法应用于各动作分类器参数寻优过程中, 针对种群多样性逐代变化的特点, 构建粒子聚集度模型, 并利用其动态调节各代粒子的变异概率; 最后, 利用KTH和HMDB51数据集对所提方法进行验证。结果表明, 所提自适应变异粒子群算法(AMPSO)能够有效避免种群陷入局部最优, 具备较强的全局寻优能力; 在KTH和HMDB51数据集上的识别准确率分别为87.50%和26.41%, 优于其余2种识别方法。实验证明, AMPSO算法收敛性能良好且整体识别框架具有较高的实用性和准确性。