一种基于双分支编码解码网络的实时语义分割方法

本发明涉及一种基于双分支编码解码网络的实时语义分割方法，包括如下步骤：步骤一，通过CNN分支和Tranformer分支提取初始图像的特征信息；使用CNN‑Transformer融合模块利用注意力掩码对CNN分支的输出特征图和Transformer分支的输出特征图进行融合；经过CNN‑Transformer融合过后的特征图输入分割头进行预测，得到分割图。本发明能同时利用CNN提取局部层次信息和Transformer提取全局上下文信息的实时语义分割方法，能够使注意力细化模块在加强全局特征表示的同时能够加强显著特征的特征表示，能够使金字塔池化模块在提取多尺度上下文信息的同时能够提取多尺度的条带信息，能够使特征融合模块能够动态调整特征权重，从而提高实时语义分割的性能；从而在分割精度和推理速度之间达到了非常不错的结果。