模型推理方法、装置、设备、介质和程序产品

AITNT
正文
推荐专利
模型推理方法、装置、设备、介质和程序产品
申请号:CN202510232208
申请日期:2025-02-28
公开号:CN120031140A
公开日期:2025-05-23
类型:发明专利
摘要
本申请提供了一种模型推理方法,可以应用于人工智能领域。该模型推理方法包括:获取推理信息;将推理信息输入包括多个网络层的预设模型中,以根据多个网络层之间的时序依赖关系对推理信息依次进行推理处理,其中,多个网络层中的每个网络层分别包括主线程和多个从线程,主线程和多个从线程用于对输入网络层的数据进行多维度的并行处理;针对每个网络层,在确定主线程接收到多个从线程各自反馈的处理状态的情况下,向下一网络层传递网络层输出的推理数据,以使得下一网络层继续进行推理处理;在确定多个网络层均完成推理处理的情况下,输出与推理信息对应的推理结果。本申请还提供了一种模型推理装置、设备、存储介质和程序产品。
技术关键词
时序依赖关系 推理方法 通信域 推理装置 阶段 数据传输模块 参数 处理器 输出模块 可读存储介质 电子设备 程序 指令 存储器 计算机
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号