一种基于自适应梯度平衡的分布场景的联邦长尾计算优化方法

在现实世界中，数据隐私和长尾分布是常见的问题。本发明关注的是联邦长尾学习任务，其中每个客户端持有本地异构数据集，如果这些数据集在全球范围内汇总，它们共同呈现出长尾分布。在这种情况下，现有的联邦优化和集中式长尾学习方法可能不适用，因为需要在隐私约束下描述全局长尾分布的特征，并调整局部学习策略以应对长尾不平衡。为了应对此问题，本发明设计了一个自调整梯度平衡器模块，该模块基于直接先验分析器模块导出的全局长尾先验反馈，以闭环方式重新加权客户端的梯度。这样，客户端可以有效地缓解模型训练过程中由于数据异构导致的分布漂移，在保持多数类性能的同时，获得在少数类上性能更好的全局模型。本发明应用于数据往往呈现长尾分布的领域，如医疗领域，经济领域等。