基于多模态信息融合的视频生成方法、装置、设备及介质

本发明涉及人工智能技术领域及医疗健康领域，公开了一种基于多模态信息融合的视频生成方法，包括：输入图像信息和文本信息，生成图像特征表示和文本特征表示；对图像特征表示注入噪声，生成含噪潜在表示；将含噪潜在表示输入去噪模型，生成优化后的潜在表示；将文本特征表示输入去噪模型，与优化后的潜在表示进行语义融合，生成语义潜在表示；将语义潜在表示输入解码器，生成视频帧序列并输出。本发明通过对图像特征表示和文本特征表示的多模态融合，确保生成的视频在语义上与输入内容一致；通过注入噪声和去噪优化，增强视频生成的多样性和细节质量；通过解码器生成视频帧序列，保证视频的视觉连贯性和自然过渡。