一种纹样语义增强的传统纹样图文检索方法

本发明公开了S1、收集图文数据，筛选预处理后得到的数据集图像文本对；S2、图像分支和文本分支通过CLIP预训练模型图像和文本编码器得到参数；S3、采用纹样语义增强模块训练模型；S4、计算检索结果，本发明基于预训练模型CLIP强大的迁移能力，将其中已有的大量知识应用在传统纹样图文数据上，并通过纹样语义增强模块训练图像编码器，通过输入缺失纹样信息的文本，指导模型进行选择填空任务，从预先构建的纹样语料库中选择匹配的纹样补全文本，该模块提高了编码器对图像中局部复杂纹样的挖掘能力和判别能力，模型一方面提取纹样的精细特征，另一方面对各类纹样具有一定的判别能力，从而与文本特征对齐。