摘要
本申请涉及人工智能技术领域,尤其涉及公开了一种分层动态视频帧序列处理方法、装置、设备与介质,主要解决的问题包括无法适应复杂动态场景变化情况的局限性。方法部分包括:通过局部动态层对视频帧序列进行短时动态特征提取,以提取短时特征;通过全局稀疏层对所述短时特征进行长时上下文建模,得到长时上下文特征;通过跨模态解耦层和所述长时上下文特征对视频帧序列进行处理,以分别提取外观特征和运动特征;根据所述视频帧序列中相临帧间运动速度动态生成融合权重,利用所述融合权重对所述外观特征与运动特征进行加权融合,输出时空表征。
技术关键词
视频帧
短时特征
上下文特征
运动特征
关节点
动态特征提取
序列
三维卷积神经网络
动态门控
分层
注意力
跨模态
光流场
矩阵
Softmax函数
姿态估计
速度
节点特征