摘要
本公开涉及一种多模态图像处理方法、装置、电子设备和存储介质,确定目标对象区域的多个不同模态待处理图像,待处理图像为存在至少一个模态缺失的图像或不存在模态缺失的图像。通过图像分割模型基于多个待处理图像进行图像分割,得到目标对象区域的分割结果。图像分割模型包括进行特征提取的特征提取网络,以及基于图像特征确定待处理图像组的特征图的图注意力网络,和对特征图解码得到目标对象区域分割结果的解码器网络。本公开通过图注意力网络的设置,增强分割结果的可解释性并降低计算成本,同时精细的捕捉不同模态图像之间的关系和各模态图像内部的结构信息提高结果的准确性,即使存在缺失模态也能够准确地进行图像分割。
技术关键词
图像分割模型
多模态图像处理
多模态注意力
特征提取网络
解码器
像素
特征提取模块
非易失性计算机可读存储介质
训练集
对象
计算机程序指令
边界特征
样本
节点特征
系统为您推荐了相关专利信息
城域网
历史流量数据
网络流量数据
网络流量预测
网络流量技术
轨迹预测模型
仿真方法
车辆状态信息
编码器
城市道路网络
进度显示系统
生成方法
风险
多模态深度学习
动态知识图谱
识别文字信息
建立分词模型
分词算法
注意力
办法