一种基于Transformer的联邦学习环境下的小样本图像识别方法

本发明公开了一种基于Transformer的联邦学习环境下的小样本图像识别方法，采用视觉变换器模型对图像样本进行图像识别，该视觉变换器模型中采用多尺度窗口来捕捉图像中的不同尺度信息。本发明的视觉变换器模型引入自适应多尺度窗口注意力机制，增强稀疏数据条件下的特征提取。本发明还提出了一种协作注意力策略，以实现隐私保护语义知识的跨客户端交换。针对小样本设置中常见的类不平衡和过拟合问题，本发明设计了一种改进的基于类熵的焦损函数。本发明还引入了一个渐进式知识蒸馏框架，以保持各培训轮之间的模型一致性。