联邦学习中的分布式Transformer训练加速框架

本专利揭示了联邦学习中的分布式Transformer训练加速框架。基于Transformer的模型训练速度比较慢，主要受限于计算和通信方面。本专利方案首先引入了动态模型分割，通过根据本地设备上的数据分布动态切割Transformer模型，从而降低每个设备的计算复杂度；智能任务调度策略确保每个设备都能有效地参与全局模型地训练，充分利用其计算机资源；分层通信优化减少通信开销，通过传输关键信息，同时采用异步通信和差分隐私来保障安全性和隐私性；本系统还包括模型融合加速，允许局部设备在本地完成部分模型训练，然后将模型权重的更新快速融合到全局模型中；自适应学习率调整机制根据每个设备的训练进度和模型收敛情况动态调整学习率,提高训练速率。