摘要
本申请提供一种基于多模态引导与反馈闭环的图像扩散生成方法及系统,其中,方法,包括:获取多模态输入信息;对多模态输入信息进行特征提取处理,确定结构特征和语义特征;根据结构特征和语义特征,生成引导向量;根据引导向量,分阶段将结构特征、语义特征输入预设的扩散生成网络中,确定初始图像;根据初始图像,获取用户反馈输入信息;将用户反馈输入信息输入预设的反馈解释器中,确定更新的引导向量;根据更新的引导向量,分阶段将结构特征、语义特征输入预设的扩散生成网络中,确定目标扩散图像。通过本申请,阶段性引导多模态数据并实现用户反馈闭环,提高生成图像一致性、可控性以及用户交互性。
技术关键词
文本反馈信息
控制权
多模态
扩散生成方法
分阶段
轮廓图像
非临时性计算机可读存储介质
条件对抗网络
闭环
模态特征
结构特征提取
语义特征提取
强度
多层感知机
生成系统
编码模块