摘要
本发明涉及一种基于知识蒸馏技术的轻量级多模态图像融合方法,与现有技术相比解决了基于文本引导的图像融合方法计算开销大、模型规模庞大的缺陷。本发明包括以下步骤:源图像的获取和预处理;构建轻量级图像融合模型;轻量级图像融合模型的训练;获取待融合的图像;获取多模型图像融合结果。本发明通过教师‑学生网络架构和定制的先验蒸馏过程,成功将大语言模型的语义理解能力转移到轻量级学生网络中,本发明在不需要推理阶段文本引导的情况下,仍然保持了较高的融合质量,同时显著降低了计算开销。
技术关键词
知识蒸馏技术
编码器模块
特征提取模块
大语言模型
教师
注意力
学生
解码器
网络架构
文本编码器
保留结构细节
多模型
可见光图像
通道
多模态特征融合
系统为您推荐了相关专利信息
可视化图表
迭代生成方法
自动生成系统
自动生成方法
大语言模型
空间特征提取
运动补偿模块
局部空间特征
分支
动态