一种基于多模态子模型特征感知的自适应张量并行方法

本发明公开了一种基于多模态子模型特征感知的自适应张量并行方法，该方法首先通过模型算子的采样数据从计算、通信两个维度构建多模态模型代价评估模型，评估张量策略的代价开销，并基于计算和通信代价对张量并行策略进行分析，通过粗粒度张量切分算法搜索张量并行策略。其次将子模型的计算图G1对应子模型中的算子融合到子模型的计算图G2对应子模型中，利用G2对应子模型的计算时间差与通信空隙执行G1对应子模型的训练，优化通过粗粒度张量切分算法搜索得到的张量并行策略中设备间的负载不均衡，得到最终的最优张量并行策略。本发明提升算子的计算效率并降低算子间的通信开销，优化设备间负载不均衡的问题。