聚合语义标记角度的高效视觉Transformer方法

本发明涉及计算机视觉技术领域，尤其涉及聚合语义标记角度的高效视觉Transformer方法。本发明包括以下步骤：S1：对输入图像进行预处理，将其划分为多个图像补丁；S2：采用标记感知位置编码模块对图像补丁进行编码。本发明结合了标记感知位置编码以及一个自适应聚类的语义标记注意力模块，这个灵活的、对查询敏感的稀疏注意力框架，允许每个查询仅对最相关的少数键值对进行关注；同时通过标记感知位置编码模块将标记附近领域的其他标记进行聚合，来减少标记分组后的信息损失；空间门控前馈网络简化了模型参数的同时提升了空间信息表达，最终实现了性能和计算效率的平衡，优化了模型对重要视觉信息的捕获与表示能力的同时减少了计算量和参数量。