透明视频的生成方法、装置、电子设备、存储介质和计算机程序产品

本公开关于透明视频的生成方法、装置、电子设备、存储介质和计算机程序产品，该方法包括：获取RGB视频序列和掩码图片序列；针对RGB视频序列所包含的除目标RGB图片之外的其他图片进行加噪；将加噪后的RGB视频序列和掩码图片序列输入透明编码器；将加噪后的RGB视频序列输入VAE编码器，获得RGB潜特征矩阵；计算第一透明潜特征矩阵和RGB潜特征矩阵的加和矩阵，并将加和矩阵输入扩散模型；基于中间加和元素(Xm)和其他加和元素(Xi)，生成透明视频。这样，本公开可以使用中间帧注意力机制为透明视频的生成过程提供先验信息，进而可以将视频帧内的内容信息、透明信息与动作信息进行解耦，可以保证生成透明区域准确、无伪影的透明视频。