一种基于cpu+gpu的张量并行计算大模型的算法

本发明公开了一种基于cpu+gpu的张量并行计算大模型的算法，包括以下步骤：S1、采用混合维度的张量切分方式，对模型中的线性层结合行并行和列并行，并根据模型结构和硬件资源动态调整切分比例；S2、构建CPU与GPU协同计算机制，将部分对显存需求大且计算相对简单的任务分配给CPU，GPU负责计算密集型任务，优化CPU‑GPU之间的通信，实现CPU‑GPU通信和GPU计算的重叠；S3、实施动态资源分配与负载均衡策略，实时监测CPU和GPU的负载情况，根据模型不同层的计算需求和硬件资源的使用情况，动态调整任务分配，并采用自适应的批处理大小调整策略。本发明显著减少显存占用，降低通信成本，提高计算资源利用率。