摘要
本公开涉及信息生成方法、装置、电子设备、计算机可读存储介质和计算机程序产品。该方法包括:获取经训练的大模型,其中经训练的大模型包括预训练模型的多层网络结构和解码器头;以及将输入信息输入到经训练的大模型,以得到与输入信息对应的输出信息,其中经训练的大模型是在预训练模型的基础上通过微调过程得到的,并且其中在微调过程中解码器头的参数被更新,而多层网络结构的参数被固定不更新。通过该方案,在模型训练中可以固定预训练模型的参数,更新解码器头的参数,这样能够减少需要更新的模型参数,从而提高模型训练的效率。
技术关键词
多层网络结构
预训练模型
信息生成方法
数值
因子
处理单元
更新解码器
信息生成装置
电子设备
参数
可读存储介质
计算机程序产品
注意力机制
输出特征
模块
基础
数据
存储器