摘要
本发明公开了一种基于多视角个体关系交互的群体行为识别方法,首先利用骨架点估计网络及位置信息编码技术,获取场景下不同个体的关节点信息;然后通过深度模型,提取身体部位的多粒度特征表示;随后,利用Transformer中的注意力机制,分别构建个体内多视角下的结构化关系推理模块、个体间多视角下的时空信息交互模块,从不同的角度实现个体身体部位信息的深度交互;设计自适应融合因子,整合跨视角跨粒度个体交互特征,获取高判别力的个体内容表征。最后,附加多头损失训练策略,从增强后的个体及群体行为特征中判定个体及群体行为的类别,实现复杂场景下的群体行为识别任务。
技术关键词
多视角
多层注意力机制
识别方法
身体
关系
交互特征
语义
特征提取模块
多层感知机
关节点特征
矩阵
场景
代表
网络
融合特征