摘要
本发明公开了一种基于扩散变换器的真实世界图像超分辨率重建方法及系统,属于计算机视觉技术领域。包括:获取真实世界图像并编码至潜在空间,生成图像潜在表示;获取噪声潜在特征以及与真实世界图像对应的文本特征表示,通过扩散变换器网络对噪声潜在特征、文本特征表示和图像潜在表示进行扩散去噪,重建超分辨率图像;扩散变换器网络利用多模态扩散变换器控制模块实现噪声潜在特征、文本特征表示和图像潜在表示之间的双向信息交互,通过跨流卷积层将来自图像潜在表示的低分辨率局部信息注入至噪声潜在流。能够实现更高质量的图像细节恢复和视觉真实性提升,解决了现有真实图像超分辨率重建信息交互不足、注入方式单一的问题。
技术关键词
真实世界图像
超分辨率重建方法
变换器
多层感知器
重建超分辨率图像
双向信息交互
注意力机制
多模态
文本
线性
控制模块
图像超分辨率重建
计算机视觉技术
网络
重建系统
大语言模型
噪声信息
计算机程序产品
系统为您推荐了相关专利信息
异质信息网络
社交机器人
多模态信息融合
模态特征
文本
图像融合方法
生成对抗网络
多尺度局部特征
网络结构
生成融合图像
滑坡检测方法
卷积模块
注意力
池化特征
神经网络模型构建
车辆轨迹预测方法
场景上下文
车道
注意力
特征融合方法