一种用户意图驱动的可控图像分割与语义捕捉方法

本发明公开了一种用户意图驱动的可控图像分割与语义捕捉方法，属于图像内容理解技术领域，包括获取输入图像及用户视觉提示信息；基于输入图像构建场景图并根据用户视觉提示信息将用户意图映射到场景图中，提取意图相关的局部场景图特征；将局部场景图特征以及标注好的双模态数据输入到以双模态Transformer为核心的扩散模型中，生成相关的视觉掩码与文本对；利用多实体对比学习损失对获取的视觉掩码与文本对进行优化对齐。本发明提供的一种用户意图驱动的可控图像分割与语义捕捉方法，解决了现有技术难以捕捉用户意图、分割结果与语义文本结果单一且关联不足、复杂场景多模态输出处理能力有限等问题，大幅提升图像分割精度和语义捕捉的一致性。