终端大模型参数协同加载方法、调度方法及系统

本发明涉及大模型参数处理领域，公开了一种终端大模型参数协同加载方法、调度方法及系统，包括：根据待加载模型文件确定文件大小，并基于文件大小在推理设备中开辟内存区域，将内存区域起始地址进行字节对齐；获取待加载模型在内存中的缓存情况，并根据缓存情况将待加载模型划分为已缓存区域和未缓存区域；获取推理设备的硬盘加载速度和远内存设备的网络情况，并将未缓存区域划分为硬盘加载区域和远内存加载区域；从推理设备的内存中加载已缓存区域的模型参数到内存区域的相应位置中，从推理设备的硬盘中加载硬盘加载区域的模型参数到内存区域的相应位置中，从远端内存设备中加载远内存加载区域的模型参数到内存区域的相应位置中。