摘要
本申请涉及计算机技术领域,提供了一种对比语言图像模型的训练方法、装置、电子设备及介质。该方法包括:获取文本样本和图像样本;根据第一对比语言图像模型,得到与文本样本对应的第一文本样本特征和与图像样本对应的第一图像样本特征;根据第二对比语言图像模型,得到与文本样本对应的第二文本样本特征和与图像样本对应的第二图像样本特征;基于第一文本样本特征和第二文本样本特征构建第一损失函数,基于第一图像样本特征和第二图像样本特征构建第二损失函数,基于第二文本样本特征和第二图像样本特征构建第三损失函数;对第二对比语言图像模型进行训练,得到训练后的第二对比语言图像模型。本申请解决对比语言图像模型应用潜力受限的问题。
技术关键词
样本
文本编码器
图像编码器
多层感知器
跨模态学习
注意力
电子设备
大语言模型
模块
处理器
训练装置
介质
存储器
受限
系统为您推荐了相关专利信息
样本
视频识别方法
模型训练方法
预测类别
分类器
感兴趣区域图像
颜色直方图
掩模
二值化图像
连通区域标记方法
汽车维修发动机
动态诊断方法
循环调制谱
诊断系统
小波变换算法
渗透检测方法
网络流量数据
序列特征
网络系统
协议
成分分析方法
样本
重构模型
变压器故障诊断
训练集