一种基于拆分学习的大模型云边端协作训练框架及方法

本发明涉及大模型训练技术领域，提供了一种云边端的训练框架，该框架在保证预训练LLM泛化性不受影响的情况下，提升了其为用户提供个性化服务的能力，采用拆分学习的方式，很好地与大型模型的分布式部署集成。框架在云服务器上部署了集成微调模块的LLM，同时在每个终端设备与其对应的边缘服务器上以拆分学习的方式部署规模相对较小的深度神经网络。深度神经网络与LLM以串行的方式进行协作训练和推理；采用对拆分层决策和资源调度进行优化的方式，在大时间尺度上使用拆分层决策优化算法，在小时间尺度上使用联合计算和频谱资源分配优化算法，从两个维度降低云边端协同训练的训练延迟。