摘要
本发明公开了一种多模态特征融合的人体行为识别方法、装置、终端设备及存储介质,属于计算机视觉领域,所述方法通过识别所述目标视频的各个视频帧中目标人物的人体关键点特征,生成关键点特征序列,根据时间顺序识别人体关键点特征的动态变化特征,生成时序特征矩阵,通过识别目标视频中各个视频帧的空间特征以及光流特征,构建空间特征矩阵以及光流特征矩阵,并将时序特征矩阵、空间特征矩阵以及光流特征矩阵进行融合,生成融合特征矩阵,使得行为识别模型在进行行为识别时,同时关注目标人物的动作变化以及环境的空间变化。因此,本发明能够解决当下的人体行为识别方法难以准确识别出人类动作行为的缺陷。
技术关键词
关键点特征
多模态特征融合
人体关键点
光流特征
动态变化特征
矩阵
时序特征
融合特征
识别方法
空间特征提取
视频帧
识别人体
特征提取模型
人体特征提取
图像边缘特征
序列