一种基于跨模态知识学习的语义边缘检测方法

本发明提出了一种基于跨模态知识学习的语义边缘检测方法，所述方法基于语义边缘检测模型实现，所述语义边缘检测模型包括图像编码器、文本编码器、解码器、高层特征增强模块、掩码编码细化模块和分类头。在所述高层特征增强模块和掩码编码细化模块中，本发明分别进行了特征融合，基于静态语言特征和动态语言特征增强图像特征以及精细化最终掩码编码，以丰富特征表示，并提高掩码编码质量，防止信息因长时间传输而丢失。本发明通过整合跨模态融合的新特征来提高生成图像特征的质量，还保证融合特征在传输过程中不丢失信息的情况下直接提高掩模质量，能够实现对待检测图像的语义边缘检测。