基于双流Transformer框架的图像文本行人重识别方法及系统

本发明属于行人重识别领域，涉及基于双流Transformer框架的图像文本行人重识别方法。该方法包括以下步骤：S1)对数据集进行预处理包括图像数据增强以及文本随机掩码；S2)对预处理后图像文本数据分别输入到双流Transformer网络中进行特征提取；S3)对于掩码文本特征向量，与图像向量间进行跨模态交互编码；S4)对于未掩码的文本特征向量，将其与图像向量进行特征共享学习；S5)对上述步骤训练的模型，在测试数据集上进行实验，得到最终结果。本发明提出一种结合双流Transformer模型，充分提取文本辅助信息和图像信息的全局特征和细粒度特征，然后融合文本信息和图像信息分别进行注意力的交互以及特征共享学习，最后通过合适的损失函数的计算，从而实现高性能的行人重识别方法。