针对大模型参数的数据处理方法、装置、设备以及介质

AITNT
正文
推荐专利
针对大模型参数的数据处理方法、装置、设备以及介质
申请号:CN202511300226
申请日期:2025-09-12
公开号:CN120806000B
公开日期:2025-11-25
类型:发明专利
摘要
本申请实施例提供了一种针对大模型参数的数据处理方法、装置、设备以及介质,属于人工智能技术领域。该方法包括:从存储器的第一数据存储区域的不同分区中,获取目标大模型经的量化矩阵和元参数,并读取表征处理器数据处理能力的内存访问粒度,基于内存访问粒度确定插入元参数和量化矩阵之间的填充区大小;在存储器中划分不同于第一数据存储区域的第二数据存储区域,在第二数据存储区域中依次写入元参数、与填充区大小匹配的预设填充信息、以及量化矩阵得到初始数据原子块;在第二数据存储区域中连续排列所有初始数据原子块,得到目标数据原子块。本申请通过优化数据存储方式,提升处理器在推理过程中内存带宽利用率,进而提升其数据计算效率。
技术关键词
数据存储区域 数据处理方法 填充区 矩阵 参数 内存 处理器 因子 存储器 压力 异常信息 数据存储方式 可读存储介质 动态误差 数据处理装置 传感器单元 人工智能技术 性能监控 标识符
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号