一种用于多模态模型的高效混合并行训练方法

本发明公开了一种用于多模态模型的高效混合并行训练方法，属于计算机技术领域。该方法首先根据多模态模型架构，将其划分为多个独立的模态子模块，每个子模块处理一种模态数据；然后通过静态分析每个子模块的计算负荷，制定算力分配方案；分析模态子模块每层的计算时间和参数量大小，然后使用分区算法把这些层划分为多个阶段，结合异步流水线并行与数据并行加速训练。本发明通过针对模态计算负荷的算力分配和混合并行策略，显著提高硬件资源利用率，实现对多模态模型训练过程的加速。