摘要
本发明提出一种基于知识蒸馏的多模态风格迁移方法、系统及设备,通过引入知识蒸馏技术,设计了一个教师学生模型,并利用CLIP文本图像空间对齐的性质,只需利用图像数据集进行一次训练,便可实现多模态引导的风格迁移,相比于CLIPStyler速度和效率大大提升,且相比于LDAST,本发明不需要大规模文本图像配对数据,节省了人力物力。此外,相比于CLIPStyler以及LDAST均是通过设计固定好的模型进行训练,本发明设计了一个空间拓展映射模块,使得本发明可以插入到所有传统的图像风格迁移网络,使其成为一个多模态风格迁移网络,实现即插即用,具有极佳的适应性。
技术关键词
风格迁移方法
分支
学生
教师
多模态
网络
知识蒸馏技术
模块
文本编码器
图像编码器
解码图像
数据
样本
输出特征
系统为您推荐了相关专利信息
深度时空特征
风电机组
特征提取模块
时空融合特征
注意力机制
仿真平台
多模态传感器系统
实时数据处理
计算机控制系统
机场场面活动
生态环境监测方法
趋势预测模型
空间分布特征
因子
生态退化程度
文本特征向量
图像特征向量
多模态
三元组损失函数
视觉
多模态数据采集
预测系统
模糊PID控制器
时序
云端