基于特权信息和注意力机制的非合作目标行为识别方法及系统

本发明公开了一种基于特权信息和注意力机制的非合作目标行为识别方法及系统，从目标行为模式库中选取若干包含空间目标的RGB图像和对应的深度图像作为训练数据集；构建基于特权信息和注意力机制的深度神经网络，通过训练数据集对深度神经网络进行训练，得到行为识别模型；获取非合作目标的RGB图像，通过行为识别模型将非合作目标的RGB图像生成伪深度图像，提取RGB图像和伪深度图像的特征表示，并进行融合得到融合特征表示；将RGB图像的特征表示和融合特征表示通过自注意力机制输出非合作目标行为类别标签，实现非合作目标行为识别。通过引入深度图像作为特权信息，充分利用多模态数据间的互补性，提升非合作目标行为模式的识别准确率。