摘要
一种任意模态显著性目标检测方法、系统、设备及介质,涉及图像处理领域,其方法包括:收集不定模态显著性目标检测图像数据;构建任意模态特征提取器,对收集的图像数据提取多尺度特征,对特征进行分属模态类别的预测,计算模态类别损失;构建任意模态特征融合模型,将任意输入模态的特征融合,得到融合特征;构建显著性目标检测解码器,利用多模态融合特征得到显著性目标检测结果,计算显著性目标检测结果与真实显著性目标检测结果的交叉熵损失并与对应模态类别损失相加,接着计算总损失的梯度进行反向传播并更新模型参数;系统、设备及介质用于实现该方法;降低了多种模型训练与部署成本,提高了计算效率,能够适应多种场景。
技术关键词
特征提取器
模态特征
检测解码器
融合特征
动态融合方法
Softmax函数
更新模型参数
多尺度特征融合
上采样
提示器
图像
多模态
键值
网络
特征值
数据收集模块
可读存储介质
系统为您推荐了相关专利信息
外观检测方法
铝扁管
图像处理
梯度方向直方图
多尺度特征提取
对象
融合特征
模型框架构建
音频特征提取
视觉特征提取