摘要
本发明提供了一种基于稳定扩散网络的视频风格转换方法、设备及程序产品,该方法包括:接收第一视频风格的视频;根据风格转换的文本指示,使用增强的稳定扩散网络将第一视频风格的视频转换成第二视频风格的视频;增强的稳定扩散网络通过如下步骤获得:S1:通过蒸馏法迭代训练的方式来获得轻量化Unet网络;S2:对所获得的轻量化UNet网络进行增强,获得增强后的轻量化UNet网络结构,增强包括:引入噪声信息还原模块;噪声信息还原模块包括特征组合学习模块;引入语义分割图模块;引入特征信息增强模块,包括:池化层、特征信息连接模块、语义分割融合模块。利用上述技术方案,可在完成视频风格转换的同时降低系统运行所需的设备性能需求,提升视频转换品质。
技术关键词
视频风格转换方法
关键帧
噪声信息
特征信息融合
分支
网络结构
文本编码器
语义分割信息
图像解码器
全局平均池化
通道
空洞
计算机程序产品
卷积模块