摘要
本公开涉及一种运动轨迹跟踪和动作识别的方法、模型构建方法及装置,上述方法包括:针对待分析视频的时序视频帧进行目标识别,得到运动主体识别区域;基于可变形卷积和注意力机制的第一预训练网络模型,对运动主体识别区域进行特征提取,得到表征运动主体位姿的视觉特征向量;基于运动连续性约束的第二预训练网络模型,对运动主体的关键点进行位置预测,得到用于表征运动主体关键点位置的姿态特征向量;将视觉特征向量和姿态特征向量进行跨模态特征融合,得到融合特征向量;基于第三预训练网络模型,对时序排布的融合特征向量进行时空依赖关系分析和动作分类处理,得到运动主体的动作识别结果。能提升动作识别的准确性和及时性,且具有鲁棒性。
技术关键词
运动主体
预训练网络
运动轨迹跟踪
关键点
依赖关系分析
子模块
动作识别模型
视频帧
热力图
时序
注意力机制
输出特征
连续性
视觉
跨模态
模型构建方法
特征提取模块
像素点
系统为您推荐了相关专利信息
提醒方法
动态决策树
多模态数据融合
疲劳状态判定
特征加权融合
同步测量方法
气液两相
变形特征
同步控制器
预训练网络
车载空调调节方法
人体图像信息
体貌特征
时序特征
座舱
视频抖动
视频数据特征
视频防抖方法
无人机姿态
吊舱