摘要
本发明属于图像生成领域,公开一种基于Mamba网络和对抗蒸馏的图像生成方法,包括以下步骤:获取数据集,数据集包括原始图像及与原始图像内容对应的文本标注;对原始图像进行离散化分块处理,划分为多个补丁块;基于编码器分别对补丁块和文本标注进行编码,获得图像特征和文本特征;对加噪图像在至少两种的展开方向进行扫描,获取对应展开方向上的图像序列;将图像序列与对应的文本特征输入基于状态空间模型的Mamba网络进行训练,并输出生成图像;将生成图像输入教师模型生成参考图像,通过生成图像与参考图像进行蒸馏学习,构建蒸馏损失函数;有效解决了现有技术中存在着计算复杂度高、参数量大且细粒度语义理解不足的问题。
技术关键词
状态空间模型
图像生成方法
联合损失函数
网络
补丁
蒸馏
原始图像内容
表达式
序列
文本编码器
图像编码器
教师
文本生成图像
矩阵
离散化步长
图像解码器
梯度下降算法