摘要
本发明涉及一种基于概率时序掩码注意力的跨视角在线动作检测方法,具体步骤包括:S1,训练数据获取,获取目标场景中多个视角的视频流;S2,数据预处理,基于预训练模型从视频流中提取RGB和光流特征;S3,构建双分支网络结构,概率分支利将视角级特征压缩成潜在的视角特定编码,分类分支则利用编码进行自回归分类;S4,构建GRU‑TMA模块,减少遥远历史信息对当前动作检测的干扰;S5,模型训练与优化,通过最小化重构损失和KL散度损失,优化概率分支的潜在表示,同时通过交叉熵损失优化分类分支的动作分类能力;S6,在线动作检测,基于双分支网络的输出进行顺序帧的动作分类,并根据实际的动作标签进行性能评估。本发明提高了动作检测的准确性和鲁棒性。
技术关键词
在线动作检测
二维卷积神经网络
TMA模块
视角
注意力机制
双分支网络
编码
时序依赖关系
门控循环单元
网络结构
实时视频流
重构
预训练模型
掩码矩阵
时序特征
系统为您推荐了相关专利信息
程度检测方法
动力电池
LSTM神经网络
注意力机制
低频信号分量
微调方法
多模态
电力设备铭牌图像
交叉注意力机制
多层次特征提取
动态风险评估系统
动态特征提取
风险评估模型
水土流失风险评估
分析模块