一种多硬件混合大模型训练的方法、系统及相关装置

本申请公开了一种多硬件混合大模型训练的方法、系统及相关装置，用于简化模型结构，提高模型性能。本申请方法包括：首先，收集多模态数据，构建多模态模型架构，通过对多模态大模型进行基准测试，得到多个硬件的第一性能指标。接着，将接收的计算任务进行分解为若干个子任务，多模态大模型划分成若干个子模型，并根据第一性能指标将子模型和子任务匹配至适合的硬件进行训练。然后，根据计算的综合权重值对信息传递链路进行剪枝操作。再评估第二性能指标，获得性能评估报告，对剪枝操作实施动态调整策略，并执行后续的剪枝操作，在执行剪枝操作后，对子模型进行重新初始化和局部微调。最后，使用测试数据集对多模态大模型进行全面评估。