一种基于张量并行的资源分配方法及系统

本发明技术涉及大语言模型领域，具体而言，涉及一种基于张量并行的资源分配方法及系统，本发明解决的问题：如何在计算资源不足的情况下满足计算需求，并延长设备使用寿命的问题，为解决上述问题，本发明提供一种资源分配方法，包括：划分计算组，计算计算组的最优计算负荷和最大计算负荷；将子模块划分为张量模块或流水线模块，划分优先级；计算计算负荷量；计算通信效率；计算负荷余量；将子模块分配给各个计算组，得到计算资源分配规划；若当前负荷大于等于最大计算负荷，优先计算部分子模块，并将未被优先计算的子模块标记为待分配模块；将待分配模块分配给该计算组进行协助计算。