一种视觉Transformer的图像块划分预处理方法

本发明公开了一种视觉Transformer的图像块划分预处理方法，该方法针对视觉Transformer缺少图像的局部性、平移不变性，对PVT图像分类算法进行改进，在其基础上对图像块做了多尺度特征融合的处理，提出了多尺度特征融合的图像块嵌入层(MSFF_PE)，通过设计的轻量化多尺度特征融合模块，丰富图像块内的多尺度特征信息，加强图像块的特征表示能力。针对编码器结构中缺少局部信息的建模，提出了多尺度局部增强的前馈神经网络层(MSLE_FF)，将注意力机制输出的一维序列复原为二维图像进行局部信息的交互，并引入距离重要性获取局部特征的加权信息。最后，经过实验验证本发明方法的有效性。