模型的推理方法、装置、存储介质和计算机设备

AITNT
正文
推荐专利
模型的推理方法、装置、存储介质和计算机设备
申请号:CN202411649030
申请日期:2024-11-18
公开号:CN119578547B
公开日期:2025-10-24
类型:发明专利
摘要
本公开提供一种模型的推理方法、装置、存储介质和计算机设备。所述方法包括:获取预先存储的目标模型的分配表和地址恢复表;其中,分配表是目标模型用于记录目标模型在预处理过程中捕获的计算图中节点对应的执行顺序,所述地址恢复表是根据所述计算图构建的内核与参数的映射关系表;根据所述分配表中的执行顺序,查询地址恢复表,得到计算图中节点的地址信息,所述地址信息包括每个节点的内核地址和参数地址;根据每个节点的地址信息,恢复所述目标模型在推理过程中的计算图;基于所述计算图,执行目标模型的推理计算。使模型可以根据计算图进行推理,避免了模型在推理时重新捕获算子图,减小了模型冷启动的时间延迟,提高了模型冷启动的效率。
技术关键词
内核 节点 索引 参数 键值 映射关系表 推理方法 内存 计算机设备 推理装置 分配信息 处理器 分配单元 可读存储介质 存储器 程序 标识
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号