一种基于动作快慢特征的多模态鸟类动作识别方法及装置

本发明公开了一种基于动作快慢特征的多模态鸟类动作识别方法及装置，该方法包括：计算输入视频相邻两帧图像之间的光流运动矢量；将光流运动矢量值按照区间进行划分，得到多个快慢类别；将每个快慢类别转化为一个二进制向量，得到动作快慢特征；将动作快慢特征与视觉‑文本特征相融合，共同作为模型的语义查询部分；训练模型：将语义查询部分与视频特征向量均输入解码器，解码器利用语义查询部分对解码器进行引导，使解码器能够聚焦于与语义查询部分的信息进行解码，得到动作识别结果，计算动作识别结果的平均精度均值，平均精度均值作为评价训练效果的指标。本发明能够更好地捕捉到鸟类动作中的时间动态信息，具有更高的识别准确性和鲁棒性。