摘要
本申请提供一种视频修复方法、装置、设备、存储介质,该方法包括:获取原始视频帧序列和掩码;对原始视频帧序列进行帧级压缩,将其映射为紧凑的潜在空间表示;根据原始视频帧序列生成与场景相关的描述文本;将各时间步的噪声和描述文本的编码进行融合;将潜在空间表示和描述文本的编码进行融合;根据掩码和融合结果,生成修复后的视频帧序列。本申请的方法通过原始视频帧序列生成的与场景相关的描述文本可以保证修复区域的自然与协调,同时将各时间步的噪声和描述文本的编码进行融合,将潜在空间表示和描述文本的编码进行融合,根据掩码及两个融合结果得到的修复区域更加自然与协调。
技术关键词
视频帧
视频修复方法
序列
注意力
随机噪声
神经网络参数
文本编码器
语义
修复装置
场景
像素
处理器
可读存储介质
模块
存储器
电子设备
计算机
系统为您推荐了相关专利信息
长短期记忆网络
组合预测模型
LSTM模型
训练集数据
参数
电线电缆保护
故障预测方法
故障预测模型
塑料管
传感器
病虫害图像
注意力
更新模型参数
文本
融合图像特征