一种文生图及模型训练方法、装置、电子设备和存储介质

本发明涉及一种文生图及模型训练方法、装置、电子设备和存储介质。针对现有技术中多概念生成时存在的生成结果与概念错配、概念学习不充分等问题，本发明提出一种新的文生图模型训练方案及相对应的装置、电子设备和存储介质。通过引入多个专家LoRA网络，每个网络对应一个概念，结合专家控制网络预测各专家网络的激活概率，实现多概念图像的准确生成。训练时，分别输入单概念和多概念图文对，计算预测噪声和专家激活信息，调整模型参数。生成时，根据输入文本预测专家激活信息，结合专家网络输出和降噪网络输出进行降噪处理，生成目标图像。本发明提高了文生图模型在多概念场景下的生成准确性和灵活性，为文生图技术的发展提供了新的思路和方法。