摘要
本发明公开了基于跨模态知识交互的无源域适应图像分类处理方法,属于图像处理技术领域。该方法包括:构建源域图像数据集;在源域上构建可学习的提示词向量;构建目标域图像数据集;对训练集中的图像进行特征提取和维度压缩处理,生成特征类分库;计算每一张图像属于每个类别的第二概率,生成预测得分库;基于特征类分库和预测得分库生成混合预测库,根据混合预测库生成伪标签;由文本编码器和图像编码器构成教师模型,将神经网络模型作为学生模型,进行知识蒸馏,利用训练集对学生模型进行训练;利用训练后的学生模型对测试集中的图像进行分类处理。本发明显著减少了错误强化循环的风险,在目标域与源域差异较大时仍能保持高分类精度。
技术关键词
文本编码器
图像编码器
跨模态
图像特征信息
生成特征
数据
样本
表达式
神经网络模型
学生
风格
标签
图像生成模型
压缩器
参数
热力图
标记
序列
系统为您推荐了相关专利信息
地质灾害智能
深度卷积神经网络模型
长短期记忆网络
地质灾害监测设备
多模态