摘要
本公开提供了一种针对单一型号芯片算力集群的目标训练策略确定方法及相关装置,涉及图形处理芯片、算力集群、生成式大语言模型、模型训练、训练策略寻优等技术领域。该方法包括:确定由单一型号芯片构成的算力集群所使用的目标型号芯片;确定目标型号芯片在预设性能种类下的性能评价;确定各预设性能种类分别在每种备选训练策略下的权重分布;根据按各权重分布分别对各相应的性能种类进行加权后的性能评价,计算出与每种备选训练策略分别对应的综合训练评价;基于各综合训练评价的评价参数,确定目标训练策略。本方案可以较低成本、快速确定适合由目标型号芯片构成的算力集群训练生成式大语言模型时使用的目标训练策略,间接提升了模型训练效率。
技术关键词
性能预测模型
策略
图像处理芯片
芯片架构
集群
大语言模型
图形处理芯片
中央处理器
参数
计算机程序产品
样本
处理器通信
指令
关系
可读存储介质
存储器
数据
系统为您推荐了相关专利信息
长短期记忆模型
排放量
时间段
预测系统
训练集数据
健康诊断系统
二次设备
设备特征
长短期记忆网络
指数
时序特征
优化采集参数
数据采集通道
时域特征
视觉特征
微电网混合储能
容量优化配置方法
超级电容
混合储能系统
储能额定容量