一种基于扩散模型的视频处理方法、设备及介质

本申请涉及视频处理技术领域，提供了一种基于扩散模型的视频处理方法、设备及介质，该方法包括：获取扩散模型反向的时间步的目标视频的物理先验特征，并基于物理先验特征计算多头注意力模型的头部分配向量；对每一帧图像进行特征提取，得到局部特征，并进行聚合得到全局特征；基于头部分配向量对局部特征进行编码得到头部对应的局部编码向量，并对每个局部编码向量进行加权，得到最终局部编码向量，进行整合得到局部编码；对全局特征进行编码，并进行加权和整合得到全局编码；对全局编码和每个局部编码进行解码，得到去噪图像，并进行拼接得到去噪视频。本申请的方法能够提高扩散模型输出的视频的质量。