摘要
本申请公开了一种模型训练方法、电子设备及计算机可读存储介质,涉及数据处理、大模型技术领域。方法包括:获取训练数据集,训练数据集包括多种类型关注对象的图像标注数据以及图像标注数据关联的描述文本标注数据;采用训练数据集对初始多模态检索模型进行训练,生成可学习提示;采用训练数据集和可学习提示对初始多模态检索模型进行图像编码训练,生成中间多模态检索模型;采用训练数据集对中间多模态检索模型进行文本与图像对齐训练,生成目标多模态检索模型,目标多模态检索模型用于对目标检索请求进行多模态检索以得到目标检索结果。本申请解决了相关技术中的多模态检索模型无法适应多变性和大规模数据需求,并且模型性能较差的技术问题。
技术关键词
多模态
模型训练方法
文本编码器
图像编码器
数据处理方法
对象
应用程序编程接口
自定义图像
操作界面
可读存储介质
检索图像
城市交通场景
图形用户界面
客户端
计算机
电子设备
系统为您推荐了相关专利信息
运动特征
车辆状态估计
模型训练方法
车辆运动状态
视频
漏洞检测方法
多头注意力机制
蒸馏
语义特征
代码结构
多模态
电力开关柜
循环生成对抗网络
监测方法
历史温度数据
个性化健康建议
诊断方法
加权无向图
网络
节点特征