摘要
本申请实施例提供一种模型训练方法、装置、存储介质及计算机设备,包括:获取指定设备发送的多模态语言模型中任务视觉适配器及语言模型的聚合参数,依语言模型聚合参数更新本地语言模型,筛选出本地目标任务视觉适配器的目标聚合参数并更新。接着构建任务混合适配器,将目标任务视觉适配器替换,其包含概率预测器、各任务适配器及待训练跨任务适配器。最后通过本地样本数据集对任务混合适配器中的概率预测器、目标任务视觉适配器和语言模型进行训练,以此得到训练后的多模态语言模型。通过训练概率预测器与跨任务适配器来适配不同任务,让多模态模型能学到各任务特有的模式与特征,进而提升模型性能。
技术关键词
适配器
计算机设备
模型训练方法
可视特征
参数
图像视觉特征
数据
样本
融合视觉特征
生成指令
文本
令牌
模型训练装置
标签
可读存储介质
处理器
系统为您推荐了相关专利信息
高斯混合模型
像素
高斯拟合函数
笛卡尔坐标系
图像
超宽带定位系统
无人机集群
路径规划控制方法
构型
动态路径规划算法