用于大模型的分布式推理方法及电子设备

本公开涉及用于大模型的分布式推理方法及电子设备。本发明涉及一种用于大模型的分布式推理的电子设备。该电子设备包括一个或多个存储器和一个或多个处理器，其中，一个或多个处理器基于深度学习模型和与深度学习模型相关联的输入数据，将存储在一个或多个存储器中的深度学习模型分割成多个子模型，基于多个子模型中的每个子模型的输入数据，将多个子模型分布及调度到内部资源设备和外部资源设备，从内部资源设备和外部资源设备接收每个子模型的推理结果，以及通过接收到的推理结果计算深度学习模型的结果。