一种基于动态特征同步器的多模态图文交错生成模型

本公开涉及多模态学习技术领域，尤其涉及一种基于动态特征同步器的多模态图文交错生成模型，所述多模态图文交错生成模型包括图像编码器和多模态大语言模型；图像编码器用于从图文交错数据的输入图像中提取多分辨率多尺度特征图；多模态大语言模型中的动态特征同步器用于从多分辨率多尺度特征图中获取细粒度信息，以使得多模态大语言模型基于细粒度信息确定图文交错数据对应的输出特征数据，输出特征数据用于生成与图文交错数据相关联的目标图像和/或目标文本。本公开实施例通过动态特征同步器将图文交错数据中的细粒度信息动态注入至多模态大语言模型中，突破细节利用瓶颈，提高上下文理解能力，实现了对图文交错数据的高效联合理解和生成。