摘要
本申请公开了一种基于模态一致性的提示学习方法以及计算机设备,属于计算机技术领域。通过本申请实施例提供的技术方案,利用目标视觉语言预训练模型,基于文本提示和多个样本类别文本,得到多个文本嵌入特征。利用视觉提示和多个样本图像,得到多个视觉嵌入特征,文本提示和视觉提示均属于目标领域。确定多个视觉嵌入特征的视觉特征分布以及多个文本嵌入特征的文本特征分布,利用视觉特征分布和文本特征分布来确定预测传输矩阵,预测传输矩阵用于表示多个视觉嵌入特征变换为多个文本嵌入特征的方式。基于预测传输矩阵、多个视觉嵌入特征以及标注信息对文本提示和视觉提示进行调整,从而利用特征和特征分布来进行提示学习,提高提示学习的效果。
技术关键词
嵌入特征
文本
预训练模型
视觉特征
矩阵
样本
学习方法
分布特征
图像组合
计算机设备
语义特征提取
图像特征提取
存储器
处理器
关系
系统为您推荐了相关专利信息
图像分类方法
特征提取模块
深层特征提取
语义特征
生物
返航控制方法
状态编码器
网络
排污管道
深度确定性策略梯度
注意力机制
判别方法
序列特征
局部特征信息
位点