摘要
本公开提供了一种多模态模型训练方法、图像处理方法、装置及电子设备,涉及人工智能技术领域,尤其涉及计算机视觉、深度学习、大语言模型等技术领域。具体实现方案为:获取多模态模型;其中,多模态模型包括依次连接的图像编码器、桥接组件和大语言模型;执行针对多模态模型的训练操作,得到经过训练的多模态模型;其中,训练操作包括:在多模态模型中的大语言模型的权重参数被固定的情况下,利用第一图文样本集合,对多模态模型中的图像编码器和桥接组件进行训练,得到经过初步训练的多模态模型;利用第二图文样本集合,对经过初步训练的多模态模型进行整体训练,得到经过训练的多模态模型。
技术关键词
多模态
样本
图文
桥接组件
图像编码器
文本
模型训练方法
数据
图像处理方法
模型训练装置
图像获取单元
图像处理单元
电子设备
图像处理装置
处理器
大语言模型
人工智能技术
计算机
系统为您推荐了相关专利信息
风险预测系统
风险预测模型
电梯运行状态
可视化界面
故障报警信息
商品推荐方法
意图
多模态注意力
电子商务平台
长短期记忆网络
仿真模型
训练样本集
设备液压系统
故障诊断方法
数据