一种基于掩码与匹配的零样本草图检索方法

本发明属于零样本草图检索技术领域，公开了一种基于掩码与匹配的零样本草图检索方法，首先，设计一种视觉‑跨语言采样器，该模块利用语义标签生成掩码，屏蔽图像中与草图目标无关的语义信息，优化跨域匹配的语义对齐效果。然后，设计了净化掩码匹配模块，包括特征重构和语义交互两部分，通过迫使图像编码器重建掩盖特征来抑制冗余语义，利用变换器解码器促进草图和图像特征之间的跨域交互，从而实现更精细的语义匹配。最后，结合三元组损失、重构损失和交互损失的训练机制，使得模型能够在净化后的语义空间中显著提升检索准确率。该方法通过掩码掩盖图像中的干扰元素并实现纯净的草图‑图像匹配，从而有效解决草图与自然图像之间的语义差异问题。