针对混合使用多种型号芯片的算力集群的训练策略确定方法及相关装置

本公开提供了针对混合使用多种型号芯片的算力集群的训练策略确定方法及相关装置，涉及图形处理芯片、算力集群、大模型、模型训练等技术领域。该方法包括：确定构成算力集群的各目标型号芯片和对应的数量占比；针对每种目标型号芯片，均确定目标型号芯片在预设性能种类的性能评价和各性能种类在每种备选训练策略下的权重分布；针对每种备选训练策略，均使用其分别匹配于每种目标型号芯片的权重分布对各相应的预设性能种类下的性能评价结合各相应的数量占比进行加权处理，得到对应的综合训练评价；基于各综合训练评价的评价参数，确定目标训练策略。应用本方案可低成本、快速的确定适合混合使用多型号芯片的算力集群在训练大模型时使用的训练策略。