模型训练方法、视频生成方法、电子设备

本申请实施例提供一种模型训练方法、视频生成方法、电子设备。该方法包括：获取采样视频，并使用采样视频对多个编码器进行预训练；其中，各编码器分别基于不同的预设任务，使用自监督学习方法训练；使用训练好的各编码器分别提取采样视频的各预设特征，并进行加权求和得到采样视频对应的第一潜空间向量；使用扩散模型对第一潜空间向量进行加噪和去噪处理，得到第二潜空间向量；使用解码器对第二潜空间向量进行解码和视频转换处理得到对应的预测视频；根据采样视频和预测视频，调整扩散模型和解码器的参数，直至得到训练好的扩散模型和解码器。该方法用以达到减少训练数据量，且能提高视频编码特征信息维度和提升生成视频质量的效果。