混合专家模型的算子优化方法、装置、设备、介质及程序

AITNT
正文
推荐专利
混合专家模型的算子优化方法、装置、设备、介质及程序
申请号:CN202510308464
申请日期:2025-03-17
公开号:CN119830976B
公开日期:2025-06-27
类型:发明专利
摘要
本发明实施例公开了一种混合专家模型的算子优化方法、装置、设备、介质及程序,其中,方法包括:采用数据分块的方式结合计算芯片的稀疏计算单元,生成适用于原始混合专家模型的稀疏算子;其中,所述稀疏算子的数量为多个;根据所述稀疏算子对所述原始混合专家模型的原始算子进行更新,得到目标混合专家模型。本发明实施例的技术方案能够实现对混合专家模型的算子优化,进而在混合专家模型的模型计算场景中充分发挥计算芯片中稀疏计算单元的硬件加速性能,进而大大优化稀疏矩阵乘法运算过程中的计算、带宽以及存储资源的开销。
技术关键词
分块 数据 压缩单元 内存 存储单元 芯片 执行乘法 索引 稀疏矩阵乘法运算 存储体 处理器 逻辑 关系 可读存储介质 指令 位置映射 计算机程序产品
系统为您推荐了相关专利信息
1
基于个性化的短剧推荐方法及系统
推荐方法 LRU算法 画像 查找表 智能推荐技术
2
基于遥感地球化学融合数据的含矿伟晶岩识别方法及系统
皮尔逊相关系数 识别方法 深度度量学习 反距离加权插值 元素
3
一种基于分层多级门控的心境障碍评估模型的构建方法
网络特征 特征提取模型 训练样本集 编码特征 时序
4
位操作指令计算电路、芯片、处理器及电子设备
指令 索引 电路 反转模块 数据
5
一种磁性行业智能排程优化系统及方法
排程优化方法 订单 工装 启发式算法 产能
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号