摘要
本发明提供了一种基于双重对比提示学习的零样本图像分类方法,包括:步骤1,拼接可学习向量与类别名构建可学习的prompt,并将其送入到CLIP的文本编码器中得到文本特征;步骤2,对图像数据进行数据增强,并将其送入到CLIP的图像编码器中得到图像特征;步骤3,将得到的文本特征和图像特征在文本空间和视觉空间上分别进行对比学习,训练得到prompt;步骤4,利用训练完成的prompt进行零样本图像分类,提升零样本图像分类性能。
技术关键词
零样本图像分类
图像分类方法
文本编码器
图像编码器
数据
三元组
预训练模型
视觉
锚点
系统为您推荐了相关专利信息
多模态数据融合
能力评估方法
大语言模型
儿童
文本
总初级生产力
XGBoost算法
植被
多模型
超参数
语音控制文本
车辆座舱
唇语识别
语义
词汇数据库