基于知识蒸馏的多模态风格迁移方法、系统及设备

AITNT
正文
推荐专利
基于知识蒸馏的多模态风格迁移方法、系统及设备
申请号:CN202411444526
申请日期:2024-10-16
公开号:CN119741187B
公开日期:2025-09-16
类型:发明专利
摘要
本发明提出一种基于知识蒸馏的多模态风格迁移方法、系统及设备,通过引入知识蒸馏技术,设计了一个教师学生模型,并利用CLIP文本图像空间对齐的性质,只需利用图像数据集进行一次训练,便可实现多模态引导的风格迁移,相比于CLIPStyler速度和效率大大提升,且相比于LDAST,本发明不需要大规模文本图像配对数据,节省了人力物力。此外,相比于CLIPStyler以及LDAST均是通过设计固定好的模型进行训练,本发明设计了一个空间拓展映射模块,使得本发明可以插入到所有传统的图像风格迁移网络,使其成为一个多模态风格迁移网络,实现即插即用,具有极佳的适应性。
技术关键词
风格迁移方法 分支 学生 教师 多模态 网络 知识蒸馏技术 模块 文本编码器 图像编码器 解码图像 数据 样本 输出特征
系统为您推荐了相关专利信息
1
一种基于改进Informer时空特征融合的风电机组状态监测方法
深度时空特征 风电机组 特征提取模块 时空融合特征 注意力机制
2
一种多模态机场场面实体仿真平台及其运行模拟方法
仿真平台 多模态传感器系统 实时数据处理 计算机控制系统 机场场面活动
3
一种沿海湿地滩涂生态环境监测方法、系统、设备及介质
生态环境监测方法 趋势预测模型 空间分布特征 因子 生态退化程度
4
一种视觉语言大模型的参数对齐方法、装置及存储介质
文本特征向量 图像特征向量 多模态 三元组损失函数 视觉
5
一种多模态时序数据的预测系统及其使用方法
多模态数据采集 预测系统 模糊PID控制器 时序 云端
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号