摘要
基于跨模态渐进交互的零样本骨架行为识别方法,其特征在于,包括以下步骤;S1:首先采用预训练的图卷积网络处理输入骨架序列,提取具有时空表征能力的骨架特征;S2:构建包含M个语义属性的共享集合,形成标准化的属性特征集合;S3:将骨架特征和所述属性特征集合输入到语义属性解耦模块,得到聚合了骨架特征的属性特征序列和用于特征聚合的相关性矩阵;S4:将S3输出的属性特征序列和S1输出的具有时空表征能力的骨架特征输入到属性感知增强模块,输出长度与骨架序列保持一致的骨架增强特征;S5:将所述骨架增强特征做平均池化,用于训练和测试,最终能够实现类别未知的行为数据样本的分类。本发明仅需优化少量交互参数即可实现高效的零样本识别。
技术关键词
骨架特征
识别方法
跨模态
非线性归一化方法
交叉注意力机制
注意力方法
样本
语义
矩阵
文本
sigmoid函数
多层感知机
池化特征
序列特征
预训练语言模型
人体关键点
度量
节点