基于云计算平台的多LoRA大语言模型部署系统

本发明提供一种基于云计算平台的多LoRA大语言模型部署系统，云计算AI平台层为推理过程训练出与基础大语言模型与相适应的LoRA适配器；多LoRA动态加载层根据请求参数动态切换需要挂载的LoRA适配器，按照请求参数中的业务优先级来进行GPU优化配置，加载基础大语言模型，挂载若干以稀疏矩阵形式叠加的LoRA适配器；资源调度优化层响应于资源调度申请，基于容器编排平台输出经过优先级管理和硬件感知优化后的请求参数至LoRA动态加载层。本发明将LoRA与容器编排深度融合，实现训练与推理的自动化流水线。显存共享机制让多个业务场景共享同一个基础大语言模型，按需加载LoRA适配器，大幅降低显存占用。支持从数据准备到模型服务的全生命周期管理，显著降低大模型部署成本。