模型推理加速方法、系统、电子设备、存储介质及产品

本申请公开了一种模型推理加速方法、系统、电子设备、存储介质及产品，涉及人工智能技术领域，包括获取第一计算模块中序列化模型的中间变量，中间变量包括键值副本、中间层潜在特征和深层输出特征中至少一项，中间层潜在特征为第一计算模块和第二计算模块中相似度不低于预设相似阈值的特征，中间层潜在特征是由第一计算模块中浅层计算块确定的，深层输出特征是由第一计算模块中深层计算块确定的；确定相似度不低于预设相似阈值的特征为第二计算模块中深层计算块的输入，以使第二计算模块得到序列化模型的预测结果，解决了相关方案中缓存快速膨胀，导致模型推理速度慢的技术问题，达到了减少冗余计算，进而加快模型推理的速度的技术效果。