一种基于跨模态信息引导融合的文本生成图像方法及系统

本发明涉及图像生成技术领域，特别涉及一种基于跨模态信息引导融合的文本生成图像方法及系统，所述方法包括：文本编码器对目标图像的文本描述进行处理得到句子特征和单词特征；增强句子特征得到图像特征；注意力驱动的深度文本图像融合模块对句子特征、单词特征和图像特征进行融合，并进一步生成初始图像；结合Mamba模块的全局语义细化模块对单词特征与初始图像的特征进行处理，得到跨模态融合特征；根据跨模态融合特征生成目标图像；更新跨模态融合特征并生成优化图像。本发明解决了文本视觉特征融合不充分的技术问题，提升了语义一致性，并克服了多阶段生成对抗网络在图像生成过程中对图像子区域间依赖关系挖掘不足的技术缺陷。