摘要
本发明实施例提供了一种神经网络模型处理方法、装置、设备及存储介质,包括:神经网络模型包括多层神经网络结构,所述神经网络结构中至少包括稀疏专家层和路由网络,稀疏专家层包括专家网络,方法包括:接收向量化词元;向量化词元为对用户输入进行向量化处理得到;将向量化词元输入稀疏专家层中的一个或者多个目标专家网络进行计算得到专家混合输出;通过路由网络确定专家混合输出进入下一层的神经网络结构的输出概率;根据输出概率将专家混合输出输入下一层的神经网络结构进行处理或者跳过下一层的神经网络结构。本发明实施例可以提高神经网络模型推理计算效率。
技术关键词
神经网络结构
神经网络模型
噪声
处理器
模块
计算机程序产品
注意力
存储器
线性
通信设备
收发机
可读存储介质
指令
系统为您推荐了相关专利信息
定位导航方法
手术机器人
抗干扰滤波
磁场检测装置
电磁发生器
智能电表控制系统
智能电表壳体
上壳体
芯片
卡扣件
焊缝缺陷检测方法
原始图像数据
多目立体视觉系统
焊缝缺陷检测系统
工件