一种基于分布式大语言模型的任务调度方法、装置、终端设备及存储介质

本发明公开了一种基于分布式大语言模型的任务调度方法、装置、终端设备及存储介质，上述方法包括：获取分布式大语言模型的多层网络中各设备节点的通信数据、待调度任务、待调度任务的任务特征、各设备节点的实时监测数据；随后根据所述通信数据、待调度任务、待调度任务的任务特征、各设备节点的实时监测数据，以多层网络的总延迟最小为目标对所述多层网络进行模型分割以及任务调度，得到各待调度任务对应的目标设备节点，并将各待调度任务分配至对应的目标设备节点进行调度。通过实施本发明，能实现对大语言模型内部多层网络的资源管理，提高了网络的性能，降低了延迟。