一种视频生成方法、装置、设备及介质

本发明涉及视频生成领域，公开了一种视频生成方法、装置、设备及介质，包括：对原始视频数据进行处理，得到若干个初始帧图像；将每个初始帧图像均分割重塑为二维图块序列并进行嵌入处理，生成图块嵌入序列；将图块嵌入序列输入到具有测试时学习层的视频生成模型中，隐藏状态为卷积神经网络；对图块嵌入序列进行多头注意力机制的处理，得到多头注意力机制的输出结果；对多头注意力机制的输出结果进行特征提取和残差连接，根据残差连接的输出结果生成图像表示；对图像表示进行解码生成新的图像帧，将所有新的图像帧进行拼接后得到目标视频。实现了从输入视频到新视频内容的高质量转换，能够捕捉视频中的复杂时空关系，生成连贯且逼真的视频内容。