一种基于辅助文本对齐范式的文本到图像行人检索方法

本发明公开了一种基于辅助文本对齐范式的文本到图像行人检索方法，包括：利用多模态大语言模型，基于图像与交互式指令生成对应的辅助文本；通过图像编码器提取图像的全局特征和局部特征，通过文本编码器分别提取文本和辅助文本的全局特征和局部特征；将辅助文本的全局特征知识迁移到图像和文本模态中，基于混合专家知识学习模块分别动态融合迁移后的图像全局特征和迁移后的文本全局特征，获得对应的图像最终特征表示和文本最终特征表示；为每个图像和文本动态选择最相似的负样本对，利用多头交叉注意力对比学习正负样本对的细粒度差异，实现文本到图像的跨模态匹配，完成行人检索。本发明能够实现更精确地文本到图像的行人检索。