基于云边协同的Transformer大模型训练方法

本发明公开了基于云边协同的Transformer大模型训练方法，包括如下步骤：S1、构建数据集；S2、对数据集进行预处理；S3、使用数据并行策略对预处理后的数据集进行分割，结合数据并行和模型并行技术进行分布式训练；S4、实时监控边缘设备和云端服务器的计算资源和网络状况，动态调整数据分配策略，优化计算负载分布；S5、采用多智能体优势演员‑评论家算法结合多臂老虎机策略，实时调整Transformer模型的分层结构；S6、在边缘设备上结合边缘推理能力进行部分模型推理任务；S7、采用联邦学习策略，并利用差分隐私技术保护数据隐私；S8、利用异构计算资源进行硬件加速。本发明采用云边协同计算和智能调度方法，实现了高效隐私保护的大模型训练和推理。