摘要
本发明提供一种模型部署方法、装置、电子设备和存储介质,涉及人工智能技术领域,包括:加载目标模型的权重数据;权重数据在当前计算设备中存储的数据精度类型为整数类型;基于第一浮点数类型对权重数据进行反量化,得到反量化后的权重数据;基于反量化后的权重数据和输入数据,在当前计算设备中执行目标模型的推理计算;第一浮点数类型为当前计算设备执行模型推理的数据精度类型;目标模型的权重数据在模型训练阶段的数据精度类型为第二浮点数类型;在将权重数据存储至当前计算设备之前,将权重数据的数据精度类型从第二浮点数类型转换为整数类型。本发明提供的方法和装置,实现了在不支持低位浮点数类型的计算设备中部署模型。
技术关键词
浮点数
模型部署方法
精度
数据存储
非暂态计算机可读存储介质
反量化模块
电子设备
处理器
人工智能技术
计算机程序产品
格式
阶段
存储器
参数
系统为您推荐了相关专利信息
农业病虫害
农作物病虫害
问答系统
生成技术
数据收集模块
SPARQL查询
训练语料库
自然语言
半导体
语句