摘要
本申请提供一种基于多模态特征融合的行为识别方法、设备及介质,涉及计算机视觉技术领域。该方法包括:获取输入的图像序列,并确定图像序列中每一帧图像对应的骨架关键点坐标;根据每一帧图像对应的骨架关键点坐标,确定图像序列中的关键帧;对关键帧对应的骨架关键点坐标进行特征提取,得到第一行为特征;对关键帧进行特征提取,得到第二行为特征,并对图像序列进行特征提取,得到第三行为特征;对第一行为特征、第二行为特征和第三行为特征进行特征融合,得到目标融合特征;根据目标融合特征进行特征分类,根据分类结果识别得到图像序列对应的行为类别。本申请的方法,提高了行为识别的准确性。
技术关键词
多模态特征融合
关键帧
融合特征
关键点
识别方法
计算机执行指令
坐标
三维卷积神经网络
Softmax函数
动态图像序列
计算机视觉技术
可读存储介质
特征提取模块
处理器通信
存储器
系统为您推荐了相关专利信息
二维卷积神经网络
识别方法
一维卷积神经网络
交叉注意力机制
多层感知机
虚拟电厂模型
电力系统
模糊综合评价法
融合特征
地理信息数据
工业炉窑
工况识别方法
隶属度函数
变量提取方法
工况识别技术
输出特征
动态门控
序列
多尺度特征融合
轻量级卷积神经网络