一种基于边缘设备的大模型运行方法、装置、设备及介质

本申请公开了一种基于边缘设备的大模型运行方法、装置、设备及介质，涉及人工智能技术领域，包括：对待运行大模型进行预处理，并基于边缘设备的硬件特性对预处理后的待运行大模型进行优化；基于当前边缘设备的资源情况，确定优化后模型对应的待执行任务的任务优先级；根据任务优先级将待执行任务分配至预先搭建的模型协同运行框架中，并在分配的过程中，对待执行任务进行分析，以根据分析结果将待执行任务部署至模型协同运行框架的负载均衡节点上；利用预设数据缓存管理算法对相关参数数据进行管理，以将相关参数数据中待使用数据预加载至边缘设备中，以便优化后模型通过模型协同运行框架的负载均衡节点，基于待使用数据执行相应的待执行任务。