视频生成模型的训练方法、视频生成方法和装置

本公开提供了视频生成模型的训练方法、视频生成方法和装置，涉及人工智能技术领域，尤其涉及计算机视觉、深度学习、大模型等技术领域，可应用于基于人工智能的内容生成等场景。具体实现方案为：对预训练的第一模型进行结构改造，以得到第二模型，并将该第二模型的输出端连接至预先生成的分类器；获取训练数据，该训练数据中包含样本视频及对应的样本指令；将样本指令输入该第二模型，由该第二模型生成结果视频，并由分类器生成结果视频对应的运动类型预测结果；基于结果视频、样本视频、运动类型预测结果及样本指令，确定综合损失函数；利用综合损失函数对第二模型进行微调，以得到第三模型。