摘要
本发明公开了一种用于实验交互行为识别的记忆网络增强方法及应用,属于视频图像识别中的人物交互行为识别技术,使用视频级图网络提取数据集中每个类别的全局特征,并初始化记忆网络的记忆项,作为补充信息来缩小类内距;使用区域级图网络提取单个视频的局部特征,捕捉交互行为的细节信息,并将其与记忆网络中的全局特征进行融合以丰富样本特征;设计记忆嵌入损失扩大相似样本之间的类间距离,实现交互行为的准确识别,进而提升模型鲁棒性。本发明实现了实验视频中实验交互行为类别的精准识别,模型整体性能优异。
技术关键词
记忆
视频
视觉特征
网络
全局特征融合
注意力机制
语义特征
矩阵
多层感知机
节点特征
图片
识别系统
数据
识别方法
坐标
输入模块
输出模块
鲁棒性