一种模型推理加速方法、设备、存储介质和程序产品

本申请公开了一种模型推理加速方法、设备、存储介质和程序产品，涉及人工智能技术领域，包括根据当前算子是否为待卸载算子，若是，在主核上对当前算子的计算任务执行全部计算操作，输出当前算子的计算执行结果；若不是，则在主核上对当前算子的计算任务执行第一计算操作，输出当前算子的第一执行结果，同时在协核上对当前算子的计算任务执行第二计算操作，输出当前算子的第二执行结果，解决了由于禁用外接硬件加速卡且本身性能受限，导致推理速度慢的问题，达到了提高模型推理速度的技术效果；基于中断响应机制，根据第一执行结果和第二执行结果，在主核上生成当前算子的计算执行结果，达到了提高模型推理实时性的技术效果。