一种基于Transformer注意力机制的弱监督语义分割方法

本发明属于语义分割领域，涉及一种基于Transformer注意力机制的弱监督语义分割方法，包括：获取待处理的图像，对图像进行预处理；将图像输入到弱监督语义分割模型的CNN网络和ViT网络中，CNN网络输出对称亲和关系向量，ViT网络输出亲和关系向量；对亲和关系向量进行加权平均，并按行分割成Patch向量；将Patch向量与亲和关系向量的转置相乘，得到亲和向量相似度矩阵s；将对称亲和关系向量作为ViT中Patch间亲和向量相似度矩阵的训练监督标签；将训练后ViT生成的新的亲和向量关系修正CNN生成的高置信度的类激活图；本发明提出结合ViT的自注意力机制和CNN的卷积运算来增强图像的表征学习。