摘要
本发明涉及一种基于帧插值的生成式语义通信系统及方法,属于通信与人工智能领域。本系统包括发送端的语义编码模块和信道编码模块,以及接收端的信道解码模块、语义解码模块和帧插值模块。发送端通过语义编码提取动态图像的关键语义信息,将至少两帧关键帧进行压缩和传输;接收端通过解码模块重构关键帧,并借助帧插值模块生成中间帧,从而还原完整的动态图像。系统设计上,语义编码和解码模块基于Swin Transformer结构,帧插值模块则基于光流解码器,实现了高效语义压缩和解码生成。训练策略采用迁移学习,通过逐步优化图像传输与帧生成模块,使模型快速收敛到最优状态。以下对系统结构与实现方法详细描述。
技术关键词
插值模块
语义特征
信道解码模块
关键帧
通信系统
通信方法
接收端
生成发送信号
图像传输系统
损失函数优化
解码器
发送端
动态
注意力机制
重构
系统为您推荐了相关专利信息
局部图像特征
细粒度特征
图像编码器
学习方法
文本编码器
图像分割模型
图像分割系统
医疗图像分割方法
模型训练模块
解码器
遥感分类方法
激光雷达数据
高层语义特征
融合特征
样本