摘要
本申请实施例公开了AI生成模型训练、文本生成方法及电子设备,所述AI生成模型是通过在预训练的生成模型基础上集成门控函数以及多个低秩分解LoRA模块而组成的,所述方法包括:根据预置的训练数据集,确定所述AI生成模型的输入信息,所述输入信息为包含有控制任务信息的文本指令;确定所述控制任务信息对应的任务标识符,并将所述任务标识符输入给门控函数,以便通过所述门控函数确定所述多个LoRA模块分别对应的权重向量;通过所述权重向量对所述多个LoRA模块的输出信息进行加权处理后参与到文本生成过程中,并根据预置的损失函数,对所述门控函数以及多个LoRA模块进行参数更新。通过本申请实施例,能够降低模型训练成本,提升控制效果。
技术关键词
标识符
文本生成方法
集成门控
模块
计算机可执行指令
生成模型训练方法
电子设备
存储程序指令
处理器
计算机程序产品
注意力
数据分布
唯一性
可读存储介质
基础
存储器
参数