一种融合卷积和稀疏视觉Transformer的高效特征学习方法与系统

本发明提出了一种融合卷积和稀疏视觉Transformer的高效特征学习方法与系统，涉及计算机视觉领域。本发明设计卷积与稀疏自注意力融合模块（CATB）作为神经网络CATFormer的主要构建块，在图像处理任务中根据特征图的空间位置进行均匀采样并进行交互，实现自注意机制的稀疏化，在降低自注意力的计算复杂度的同时，实现神经网络捕获图像的全局信息，并利用卷积的扩散特性，有效传递全局信息，从而实现高效的特征学习；堆叠多个CATB模块构成了神经网络CATFormer，在CATB中设置采样步长实现稀疏采样，从而提取具有全局代表性的token，所得到的神经网络模型可用于图像分类、目标检测、实例分割和语义分割等视觉任务的主干。