摘要
本发明涉及人工智能技术领域,公开了一种视频数据生成方法、电子设备、存储介质及程序产品,包括:将样本对中的跨语言描述和目标视频片段分别转换为跨语言特征向量和视频特征向量;基于待训练嵌入对齐层,将跨语言特征向量转换为对齐嵌入向量;基于对齐嵌入向量和视频特征向量,对待训练文生视频模型进行参数优化,以得到目标文生视频模型;对齐嵌入向量和视频特征向量在语义空间对齐;向目标文生视频模型输入目标跨语言描述,以基于目标文生视频模型,根据目标跨语言描述,生成对应的视频数据。通过得到跨语言特征向量所对应的对齐嵌入向量,显著提高了文生视频模型对跨语言语义的理解能力,从而提高了文生视频模型的视频数据生成结果的准确性。
技术关键词
视频特征向量
视频数据生成方法
样本
计算机执行指令
阶段
文本编码器
分辨率
语义
误差
电子设备
可读存储介质
参数
序列
人工智能技术
计算机程序产品
处理器
场景