基于资源动态调配的信创环境大语言模型的高效适配方法

本申请涉及资源调配技术领域，具体涉及基于资源动态调配的信创环境大语言模型的高效适配方法，该方法包括：实时获取各硬件的显存余量、有效算力、各硬件与其余硬件进行数据传输时所能提供的最大数据传输速率，大语言模型中各层的梯度张量，以及各层任务的总耗时与从当前时刻到完成的预估时长；实时评估各硬件的剩余资源，并通过各层的损失值和梯度张量的变化情况，以及各硬件的实时显存余量在显存总量中的占比，对各层的预设基准秩进行更新，得到大语言模型中各层的秩；通过实时所述预估时长与所述总耗时，对各层的秩进行调整；对各层任务分配硬件。本申请通过对智能芯片硬件进行剩余资源评估和秩的动态调整，实现资源的动态调配。