摘要
本发明实施例公开了一种视频生成模型训练方法、装置、设备和介质,其中,方法包括:将视频样本输入到经过预训练的空间变分自动编码器进行空间编码,得到视频空间编码结果;将视频空间编码结果输入到经过预训练的时间变分自动编码器进行时间编码,得到视频时空编码结果;基于视频时空编码结果对待训练视频生成模型进行训练,得到目标视频生成模型;其中,待训练视频生成模型为扩散模型。本发明实施例的技术方案解决了目前视频生成模型训练计算负荷大的问题,可以在模型训练时在空间和时间维度上对视频样本进行编码,减少模型训练过程中的计算资源需求量,提高模型训练效率。
技术关键词
视频生成模型
变分自动编码器
编码特征
视频解码
视频编码
编码模块
编码器训练
样本
计算机设备
模型训练模块
处理器
计算机程序产品
噪声
注意力机制
训练装置
数据
可读存储介质