基于多模态语义信息交互的零样本草图检索方法及其系统

本发明公开了一种基于多模态语义信息交互的零样本草图检索方法及其系统。该草图检索方法包括：构建划分有训练集和测试集的数据集；构建教师和学生的特征提取神经网络；扩充训练集的类名文本的语义信息，得到语义提示特征；将训练集的图像送入特征提取神经网络，进行跨模态信息融合，获得多模态语义信息交互特征，对学生特征提取神经网络进行训练；将待检索图像输入至学生特征提取神经网络，获得待检索图像特征；先将查询草图图像输入至学生特征提取神经网络，获得查询草图图像特征，再对查询草图图像和待检索图像进行比对检索。本发明提升检索性能，且无需额外在大规模数量集上获取预训练大模型作为教师网络，就能完成知识迁移学习。