一种基于领域提示词的潜在扩散模型及其微调方法

本发明提供一种基于领域提示词的潜在扩散模型及其微调方法，通过引入可学习的领域提示词模块来控制潜在扩散模型生成图像的风格。该方法包括以下步骤：1.在潜在扩散模型基础上引入可学习的领域提示词模块，构建改进的潜在扩散模型网络架构；2.利用多个目标域数据集及其对应的领域提示词，对改进后的潜在扩散模型进行微调；3.向微调后的潜在扩散模型输入特定领域提示词，生成相应风格的图像。本发明通过可学习的领域提示词实现对潜在扩散模型的生成图像风格的精确控制，提高了模型在多领域图像生成任务中的适应性和性能。