视频红外-可见光的行人重识别方法、装置、设备及介质

本发明实施例公开了一种视频红外‑可见光的行人重识别方法：获取预处理的视频红外‑可见光的行人图像序列；构建模型；采用权值共享的双流网络，将预处理后的图像序列映射到相同的特征空间，获得跨模态共享特征图；输入空间特征补偿网络，根据每一帧细粒度的特征对行人的全局特征进行补充确定空间信息补偿后的行人特征；根据时间特征聚合网络将帧级的空间信息补偿后的行人特征聚合成包含时空信息的序列级行人特征；以端到端的方式进行训练，构建损失函数优化模型；应用优化后的模型进行识别。该方案，通过设计的空间特征补偿网络、时间特征聚合网络和跨模态对齐损失能获得鲁棒的时间和空间特征表示，缩小跨模态差异，有效实现跨模态行人检索任务。