一种基于云边协同的LLM服务平台部署方法和系统

本发明涉及云边协同技术领域，具体为一种基于云边协同的LLM服务平台部署方法和系统，包括：将边缘节点部署在多个异地边缘数据中心；将LLM增量学习训练容器部署在云中心节点中；将LLM推理容器或LLM推理容器组部署在边缘节点中；有益效果为：通过部署的边缘LLM推理主容器可用于对边缘侧提供多轮对话推理服务、发送多轮对话源数据至云端LLM增量学习训练容器、快速恢复LLM增量学习训练任务、同步LLM增量学习模型至LLM推理从容器。