摘要
本发明提供一种模型训练方法、模型推理方法、电子设备及存储介质,其中模型训练方法,包括:基于视觉模态和语言模态各自的词元分段,确定待单向解码训练的第一词元分段以及待双向解码训练的第二词元分段;基于第一词元分段和第二词元分段以及各自携带的模态标识,对初始的统一多模态大模型进行混合单向和双向并行解码的训练;直至确定训练结果满足预设训练停止条件时对应的目标统一多模态大模型。本发明不仅提高了每个模态词元分段的训练效率,也提高了每个模态词元分段经解码训练后所得预测词元的词元生成效果,从而在保持模型对不同模态词元预测效果的同时,也能提高统一多模态大模型的推理效率。
技术关键词
模型训练方法
多模态
解码
推理方法
分段
非暂态计算机可读存储介质
视觉
电子设备
标识
处理器
注意力机制
存储器
序列
关系
程序
系统为您推荐了相关专利信息
训练样本数据
节点
模型训练方法
业务执行装置
业务执行方法
电力系统
推理方法
卷积神经网络特征提取
贝叶斯结构学习
归因
深度图像修复
篡改检测方法
神经网络结构搜索
卷积模块
网络模块
检测模型训练方法
情绪检测系统
超参数
数据
BERT模型
深度卷积神经网络
长度测量方法
语义分割网络
图像
发动机