基于多模态融合的可控视频生成方法及系统

本发明公开了一种基于多模态融合的可控视频生成方法及系统，该方法包括获取多模态数据并对其进行预处理；提取特征向量并对其进行规范化处理，组合形成多模态特征矩阵；将多模态特征矩阵转换为特征序列；对特征序列中的各模态特征进行动态权重分配；将加权后的特征序列进行多层次深度融合，得到融合特征表示；将融合特征表示输入到多尺度时空注意力机制中，得到增强特征表示；依序使用空间注意力、时间注意力和交叉注意力模块进行处理，得到全局增强特征表示，生成多帧隐空间表示；解码生成高分辨率视频帧并进行后处理，得到最终的高质量视频序列。本发明保持了视频序列的时空连贯性，生成质量更高、可控性更强的视频内容。