摘要
本说明书实施例提供一种多模态大模型的训练方法及装置,提供多模态大模型的训练方案,可以对多模态大模型中各个网络模块按照功能解耦,并对解耦后的网络模块进行分阶段的渐进训练,逐渐拓展模型的模态支持能力、在各模态达到较佳性能。这种训练方式可以有效实现各模态数据的稳定训练。
技术关键词
桥接模块
视觉特征
音频特征
文本
音频编码器
样本
多模态
周期
图像
指令
网络模块
图文
线性回归模型
微调单元
参数
曲线
训练装置
计算机
系统为您推荐了相关专利信息
知识共享平台
关系抽取模型
文本
三元组
知识抽取技术
流通溯源方法
多标签文本分类
生成事件
非暂态计算机可读存储介质
训练深度神经网络
问答方法
大语言模型
注意力机制
文本分割方法
语义