面向文图跨模态行人检索模型的知识蒸馏方法

本申请公开了一种面向文图跨模态行人检索模型的知识蒸馏方法，包括：构建教师模型和学生模型，对学生模型进行初始化，其中教师模型与学生模型均具有文本编码器和图像编码器；对学生模型进行三阶段的知识蒸馏，其中，在第一阶段通过教师模型对学生模型的图像编码器进行知识蒸馏，在第二阶段通过教师模型对学生模型的文本编码器进行知识蒸馏，在第三阶段通过教师模型对学生模型的文本编码器以及图像编码器同时进行知识蒸馏；根据各个阶段的任务损失以及蒸馏损失，对学生模型进行训练直至收敛，得到轻量化学生模型。本申请能够强化学生模型与教师模型在跨模态任务学习上的关联，提升学生模型获得文本图像多模态特征高度对齐的能力。