摘要
本发明公开了一种基于多模态多层级匹配的小样本动作识别方法,涉及计算机技术领域。该方法包括:对小样本动作识别模型进行训练;训练过程中,基于小样本动作识别模型,分别通过确定待查询视频与支撑视频集的全局特征表示之间的余弦相似度确定全局匹配距离;通过视频帧之间的匹配关系,得到待查询视频与支撑视频的帧级匹配距离;通过图像补丁特征之间的匹配关系,得到待查询视频与支撑视频集的图像补丁级匹配距离;基于全局匹配距离、帧级匹配距离和图像补丁级匹配距离以及待查询视频的真实类别进行损失计算,并调整小样本动作识别模型的参数;通过小样本动作识别模型识别待识别视频的类别。该方法能够提升视频类别识别的准确性。
技术关键词
动作识别模型
补丁
原型
层级
动作识别方法
样本
图像
文本编码器
标签
语义向量
多模态
序列
视频帧
关系
训练集
模版
参数