一种基于扩散模型的开放词汇语义分割方法

本发明公开了一种基于扩散模型的开放词汇语义分割方法，包括以下步骤：根据输入图像，融合图像的全局语义和局部语义，并自动提取图像中的目标类别集合和文本提示；针对每个目标类别，基于末尾填充符嵌入调整策略和目标类别嵌入增强方法，对目标类别和文本提示进行处理，获得优化后的文本嵌入；针对每个目标类别，根据优化后的文本嵌入，扩散模型通过层级式注意力融合，得到目标类别激活图；对每个目标类别激活图进行后处理，融合生成最终的语义分割结果。本发明提出的方法，可以根据输入的图像产生高精度的分割掩码；其次，由于其开放词汇的特性，模型可以提取出图像中的任意类别并产生对应的分割结果。