摘要
本申请实施例提供了一种模型参数存储方法、设备及存储介质,可应用于人工智能芯片技术领域,在该方法中,中央处理器接收模型训练过程中多个数据并行组各自的原始组参数,每个原始组参数包括:缓存排布的多个第一模型参数;缓存排布的每个第一模型参数,是从原始排布的每个第一模型参数转换获得的;原始排布为广播类型或切分类型。对获得的多个原始组参数进行拼接,获得第一拼接参数;将第一拼接参数中原始排布为广播类型的第一模型参数进行去重,获得第一全量参数;采用相同的操作逻辑对原始排布为广播类型或切分类型的模型参数进行处理,再对广播类型的模型参数去重,解决不同布局类型的模型参数存储时的不兼容问题,提高了大模型训练的性能。
技术关键词
模型参数存储方法
人工智能芯片技术
计算机设备
执行设备
布局
兼容问题
数据
中央处理器
分片
可读存储介质
存储器
逻辑
系统为您推荐了相关专利信息
电力巡检机器人
路径规划方法
三阶贝塞尔曲线
节点
邻域
拓扑图
实时位置
计算机执行指令
SM4算法
线路
电力故障诊断方法
大语言模型
排序模型
生成电力
文本规范化
标签文本
文本分类方法
计算机设备
文本分类技术
文本分类装置
模拟系统
路径规划算法
设施
地理信息系统
数据采集模块