一种基于跨模态行人重识别的矿工安全监控方法及系统

本发明公开了一种基于跨模态行人重识别的矿工安全监控方法，包括以下步骤：S1：将数据集输入到共享双流ResNet50骨干网络中，得到两种模态初步提取的特征图；S2：将两种模态的特征图输入到局部特征模块中，分别按其高度均分成三部分局部特征图，两两作为一对，将同一对局部特征图输入到同一个SP_Net模块中得到局部特征向量，将两个局部特征向量进行跨模态对齐损失；S3：将两种模态的特征图输入到全局特征模块中，经过双线性全连接层得到全局特征向量，并计算损失函数；S4：调节网络参数，使网络达到最优，并在待识别跨模态数据集上进行行人匹配。本发明能够消除两种模态之间的差异提取到更具判别性的特征，提高图像识别效率，提高跨模态行人重识别的性能。