一种基于视觉提示的多媒体检索方法及系统

本发明提出了一种基于视觉提示的多媒体检索方法及系统，涉及多媒体检索技术领域，具体方案包括：获取多媒体检索数据集和待检索的多媒体样本；利用训练后的视觉提示多媒体编码模型，为多媒体检索数据集中的每个多媒体样本及待检索的多媒体样本，生成哈希码；基于哈希码，计算两个多媒体样本之间的汉明距离，利用汉明距离进行相似性检索；其中，所述视觉提示多媒体编码模型，在利用Transformer编码器对输入的多媒体样本进行哈希编码前，将学习得到的视觉提示作为一种特定任务信息嵌入到多媒体样本中，增强模型对多媒体数据的语义理解；本发明通过引入视觉提示，节省大量的资源，显著提升多媒体检索的准确性和效率。