模型部署方法、装置、电子设备和存储介质

AITNT
正文
推荐专利
模型部署方法、装置、电子设备和存储介质
申请号:CN202510498976
申请日期:2025-04-21
公开号:CN120596104A
公开日期:2025-09-05
类型:发明专利
摘要
本发明提供一种模型部署方法、装置、电子设备和存储介质,涉及人工智能技术领域,包括:加载目标模型的权重数据;权重数据在当前计算设备中存储的数据精度类型为整数类型;基于第一浮点数类型对权重数据进行反量化,得到反量化后的权重数据;基于反量化后的权重数据和输入数据,在当前计算设备中执行目标模型的推理计算;第一浮点数类型为当前计算设备执行模型推理的数据精度类型;目标模型的权重数据在模型训练阶段的数据精度类型为第二浮点数类型;在将权重数据存储至当前计算设备之前,将权重数据的数据精度类型从第二浮点数类型转换为整数类型。本发明提供的方法和装置,实现了在不支持低位浮点数类型的计算设备中部署模型。
技术关键词
浮点数 模型部署方法 精度 数据存储 非暂态计算机可读存储介质 反量化模块 电子设备 处理器 人工智能技术 计算机程序产品 格式 阶段 存储器 参数
系统为您推荐了相关专利信息
1
一种基于检索增强生成技术的农业病虫害问答系统
农业病虫害 农作物病虫害 问答系统 生成技术 数据收集模块
2
一种呼吸信号预测方法和装置
信号预测方法 预测误差 样本 精度 因子
3
一种跨通道交互注意力模型的构建方法
交互注意力 交互式特征 通道 多传感器 陀螺仪
4
一种基于构造解方法的伽马辐射输运代码验证算法
验证算法 方程 数值 计算误差 混凝土材料
5
微调应用于泛半导体领域的大语言模型的方法及装置
SPARQL查询 训练语料库 自然语言 半导体 语句
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号