摘要
本申请涉及人工智能技术领域,具体提供一种用于神经网络模型的数据处理方法、服务器、设备及介质,旨在解决如何基于移动设备的CPU对神经网络模型进行注意力计算的问题。本申请提供的方法包括根据神经网络模型的模型文件获取第一计算图,第一计算图用于描述神经网络模型的所有算子以及各算子之间的连接关系;获取第一计算图中的多个目标算子,多个目标算子为用于Transformer模块进行注意力计算的多个算子;对多个目标算子对应的计算操作进行融合,以形成一个融合算子,融合算子用于移动设备的CPU执行计算操作;将多个目标算子替换为融合算子得到第二计算图。通过上述方法可以基于CPU执行融合算子对应的计算操作,提高注意力计算的速度,从而提高模型推理速度。
技术关键词
神经网络模型
数据处理方法
矩阵
移动设备
内存
排布方式
注意力机制
通道
处理器通信
服务器
人工智能技术
存储器
元素
关系
进程
数据存储
可读存储介质
系统为您推荐了相关专利信息
电磁信号识别
深度神经网络
决策
样本
拉丁超立方采样
分布式内存
节点
内存页面换入换出
虚拟机实例
内存监控器
损伤特征
演化特征
磁畴壁
磁矫顽力
智能诊断方法