摘要
本申请实施例提供了一种针对大模型参数的数据处理方法、装置、设备以及介质,属于人工智能技术领域。该方法包括:从存储器的第一数据存储区域的不同分区中,获取目标大模型经的量化矩阵和元参数,并读取表征处理器数据处理能力的内存访问粒度,基于内存访问粒度确定插入元参数和量化矩阵之间的填充区大小;在存储器中划分不同于第一数据存储区域的第二数据存储区域,在第二数据存储区域中依次写入元参数、与填充区大小匹配的预设填充信息、以及量化矩阵得到初始数据原子块;在第二数据存储区域中连续排列所有初始数据原子块,得到目标数据原子块。本申请通过优化数据存储方式,提升处理器在推理过程中内存带宽利用率,进而提升其数据计算效率。
技术关键词
数据存储区域
数据处理方法
填充区
矩阵
参数
内存
处理器
因子
存储器
压力
异常信息
数据存储方式
可读存储介质
动态误差
数据处理装置
传感器单元
人工智能技术
性能监控
标识符