一种无需微调的多角色定制生成方法

本发明涉及计算机科学技术领域，尤其为一种无需微调的多角色定制生成方法，包括图像编解码器、文本编码器、降噪模型、角色编码器、多角色适配器5个模块，选用开源的Stable Diffusion作为基础模型，图像编解码器、文本编码器和降噪模型直接使用原模型的结构和权重，并在训练过程中保持冻结。本发明具备多角色定制生成、防角色混淆和提高生成多样性的优点，通过引入多角色适配器，实现了一种能够快速且廉价地针对多个角色进行定制生成的创新方法，这一适配器作为整个框架的核心创新点，不仅拓展了传统交叉注意力模块的应用范围，使其能够支持多个角色的定制生成，而且针对多角色生成过程中角色特征容易相互混淆的问题，引入了角色自注意力机制。