基于特征交互和多模态数据融合的开放词汇语义分割方法和装置

本发明提供一种基于特征交互和多模态数据融合的开放词汇语义分割方法和装置。采用冻结参数的SAM编码器并行提取RGB图像与Mask图像特征，并通过特征融合模块进行边界信息增强。利用冻结参数的CLIP图像编码器对RGB图像进行多层特征提取，并通过特征增强模块进行多尺度语义信息优化。通过特征交互模块融合SAM分支与CLIP分支提取的图像特征，实现跨网络特征互补。在预测阶段，引入结合温度缩放操作的类别集成策略，以优化已知与未知类别的预测效果。本发明结合了SAM在图像边界提取方面的优势与CLIP的图文对齐能力，通过多模态特征融合与交互，有效提升了模型在开放词汇语义分割任务中的泛化能力与鲁棒性。