多模态视频生成方法、系统、存储介质及电子设备

本发明提供一种多模态视频生成方法、系统、存储介质及电子设备，包括：获取目标视频的描述文本信息的文本特征和语音特征；获取目标视频的时长信息和分辨率信息；基于文本特征和时长信息生成文本池化特征；基于语音特征和时长信息生成语音预测特征；将文本池化特征作为Q向量，将语音预测特征作为K向量和V向量，进行交叉注意力机制处理；将交叉注意力机制处理的输出作为Q向量，将语音预测特征作为K向量和V向量，重复进行预设次数的交叉注意力机制处理，获取交叉注意力特征；基于交叉注意力特征和分辨率信息生成目标视频。本发明的多模态视频生成方法、系统、存储介质及电子设备能够基于多模态信息实现视频的生成，从而满足个性化的需求。