摘要
本发明公开一种行为识别方法、装置、设备及存储介质,该方法包括:获取待处理视频中的若干个视频帧;利用预设的姿态估计网络获取若干个所述视频帧中待识别对象的骨骼序列数据;根据所述骨骼序列数据和预设的不同行为所对应的关节点先验拓扑连接结构,利用图神经网络从若干个所述视频帧中提取所述待识别对象的运动特征;从若干个所述视频帧中提取所述待识别对象与其所交互的物品的视觉特征;将所述运动特征和所述视觉特征融合为多模态行为特征,并根据所述多模态行为特征对所述待识别对象进行行为识别,获得行为识别结果。本发明能够提高行为识别的准确性和有效性。
技术关键词
拓扑连接结构
运动特征
识别方法
对象
视频帧
多模态
姿态估计
序列
队列
区域候选网络
交叉注意力机制
可读存储介质
关节点特征
视觉特征提取
特征提取模块
数据获取模块
系统为您推荐了相关专利信息
连续手语识别方法
视觉特征提取
特征提取模块
特征提取器
卷积模块
测试辅助方法
智能化设备
机器学习模型
静息心率
数据
像素点
图像生成方法
深度值
TOF相机
双目相机