摘要
本公开实施例涉及一种多任务图像处理方法、模型训练方法、装置和电子设备。该方法包括:将可见光图像样本和热红外图像样本依次输入多个尺度对应的初始模型块,生成各尺度对应的样本可见光特征、样本热红外特征和样本语义融合特征;将各样本可见光特征和各样本热红外特征输入初始多模态融合头进行多模态融合处理,生成预测融合图像;将各样本语义融合特征输入初始语义分割头进行基于语义的图像分割处理,生成预测语义分割图像;基于预测融合图像、预测语义分割图像和参考语义分割图像进行模型迭代训练,生成目标多任务图像处理模型。如此,将语义分割任务和图像融合任务耦合于同一个模型进行端到端训练,提升模型的鲁棒性和准确性。
技术关键词
图像处理模型
可见光图像
语义
多任务
样本
多模态
融合特征
配准特征
模型块
编码器
图像分割
边缘二值图
解码器
模型训练方法
电子设备
模型训练模块
图像处理装置
系统为您推荐了相关专利信息
时序预测模型
时序特征
质检方法
动态时间规整
训练集
控制照明装置
照明控制方法
头部姿态信息
对象
动作识别模型
机器人控制方法
命令
机器人部件
文本
麦克风模块
BP神经网络模型
心肺耐力检测方法
氧量
人体
数据