摘要
本发明公开了一种基于多模态深度学习的黄梅戏老照片修复方法及系统,包括:构建黄梅戏老照片数据集并进行数据增强处理;其中,黄梅戏老照片数据集包括退化图像、目标图像、文本提示信息;提取退化图像的多尺度特征并进行频域分解,基于频域分解获得的特征分量获得增强特征图,基于增强特征图获得视觉特征向量;基于文本提示信息与视觉特征向量获得增强语义特征向量;基于语义特征向量与增强特征图获得多模态特征表示;基于多模态特征表示与目标图像对退化图像进行扩散修复操作,得到修复后的黄梅戏老照片。本发明结合退化图像和语义文本提示,利用多模态深度学习和扩散模型技术,实现高精度、语义一致的黄梅戏老照片修复。
技术关键词
多模态深度学习
黄梅戏
多模态特征
修复方法
语义
图像
多尺度特征
三元组
区域特征提取
通道注意力机制
视觉特征提取
文本编码器
计算机装置
特征提取模块
图谱
修复系统
数据处理模块