一种基于知识蒸馏技术的轻量级多模态图像融合方法

AITNT
正文
推荐专利
一种基于知识蒸馏技术的轻量级多模态图像融合方法
申请号:CN202510199586
申请日期:2025-02-24
公开号:CN119992273A
公开日期:2025-05-13
类型:发明专利
摘要
本发明涉及一种基于知识蒸馏技术的轻量级多模态图像融合方法,与现有技术相比解决了基于文本引导的图像融合方法计算开销大、模型规模庞大的缺陷。本发明包括以下步骤:源图像的获取和预处理;构建轻量级图像融合模型;轻量级图像融合模型的训练;获取待融合的图像;获取多模型图像融合结果。本发明通过教师‑学生网络架构和定制的先验蒸馏过程,成功将大语言模型的语义理解能力转移到轻量级学生网络中,本发明在不需要推理阶段文本引导的情况下,仍然保持了较高的融合质量,同时显著降低了计算开销。
技术关键词
知识蒸馏技术 编码器模块 特征提取模块 大语言模型 教师 注意力 学生 解码器 网络架构 文本编码器 保留结构细节 多模型 可见光图像 通道 多模态特征融合
系统为您推荐了相关专利信息
1
一种测试时知识图谱增强大语言模型的方法
大语言模型 矩阵 三元组 前馈神经网络 文本
2
一种基于区块链的模型训练方法、装置及设备
参数 大语言模型 节点 模型训练方法 公钥
3
翻译优化方法和装置、电子设备及存储介质
嵌入特征 文本 编辑 样本 元素
4
一种基于大语言模型的食品冷链数据可视化自动生成方法
可视化图表 迭代生成方法 自动生成系统 自动生成方法 大语言模型
5
一种动态点云的时空质量增强方法
空间特征提取 运动补偿模块 局部空间特征 分支 动态
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号