一种基于重申-交织的指代图像分割方法及系统

本发明涉及一种基于重申‑交织的指代图像分割方法及系统，方法包括：使用视觉特征提取器将场景图片编码为视觉特征；使用文本特征提取器将描述文本编码为文字特征；将视觉特征和文字特征一起送入模态交织网络，得到分割概率图，使用阈值法将其转换为分割结果；计算预测的分割结果和真实分割掩码的损失，利用梯度下降法进行训练；使用训练好的模型，对测试场景图像和测试描述文本进行推理，得到测试图像分割结果。本发明提出重申‑交织的策略，大幅提升了指代分割的准确性。与现有技术相比，本发明具有能够充分理解文本中的多层次语义、语义文本准确性稳定性好等优点。