一种基于混合模型的指向性图像分割方法及系统

本发明提出了一种基于混合模型的指向性图像分割方法及系统，属于计算机视觉技术领域，包括：获取图像及文本描述数据集；构建双分支视觉‑语言编码架构对图像进行编码提取若干不同尺度的视觉特征，并同时对文本描述进行编码，提取文本特征；采用多尺度跨模态注意力模块对同一尺度的视觉特征和文本特征进行跨模态融合，生成多模态特征；对各个尺度的多模态特征分别采用分层特征融合模块进行融合得到第一融合特征；采用跨层级信息整合模块进行层间特征的融合得到最终融合特征；采用分割模块对最终融合特征进行预测得到分割后的图像。本发明结合CNN和Transformer架构的优势，以提升指向性图像分割任务的精度和泛化能力。