混合专家模型的优化方法、装置、设备、介质及程序

AITNT
正文
推荐专利
混合专家模型的优化方法、装置、设备、介质及程序
申请号:CN202510308465
申请日期:2025-03-17
公开号:CN119808860B
公开日期:2025-07-08
类型:发明专利
摘要
本发明实施例公开了一种混合专家模型的优化方法、装置、设备、介质及程序,其中,方法包括:对目标混合专家模型的各项稀疏化的数据结构进行稀疏转换,得到结构化稀疏数据结构;对所述结构化稀疏数据结构进行数据排布优化;结合计算芯片的稀疏计算单元对所述目标混合专家模型的算子进行优化,得到稀疏算子;根据所述稀疏算子对所述目标混合专家模型的原始算子进行更新,得到结构化稀疏的混合专家模型。本发明实施例的技术方案能够实现对混合专家模型的结构化稀疏优化,以充分发挥混合专家模型的稀疏计算硬件在计算稀疏矩阵乘法时的加速性能,进而大大优化稀疏矩阵乘法运算过程中的计算、带宽以及存储资源的开销。
技术关键词
分块 压缩单元 存储单元 芯片 内存 索引 执行乘法 稀疏矩阵乘法运算 排布方式 数据访问 存储体 处理器 关系 可读存储介质 指令 位置映射 计算机
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号