基于多模态数据的电力危险人员身份识别方法及系统

本发明提供一种基于多模态数据的电力危险人员身份识别方法及系统，所述方法包括以下步骤：获取多模态场景下行人身份图像数据集，并构建可见光数据集和红外数据集；将获取到的行人身份图像数据集进行特征提取；利用多样化特征计算可见光图像和红外图像的Jaccard距离；针对不同类标记，计算与其他类标记的相似度矩阵，获取各类标记最近邻，对各类标记最近邻进行交集，得到邻域集合；建立跨模态标签关联，将其作为监督信号引入模型后续的训练过程；对模型进行训练，同时对模型进行模型评估；从行人身份图像数据集中划分获取测试集，并将其划分查询集和图库集。本发明具备较高的识别准确性和鲁棒性，有效应对电力系统主体并网场景中的复杂环境与挑战。