面向移动端异构平台多推理框架的延迟开销预测方法

本发明公开了一种面向移动端异构平台多推理框架的延迟开销预测方法，包括：步骤1、获取原始模型，得到原始模型中配置相似的卷积算子，对配置相似的卷积算子进行分组合并；步骤2、针对不同推理平台的卷积算子推理特性分别进行延迟开销预测模型建模；然后等比例推知模型的整体延迟；步骤3、对移动端异构硬件进行内核的自定义、编译和刷入，并确认推理框架、推理部件、核心种类、核心；步骤4、针对不同配置间的的延迟开销预测模型进行快速迁移。本发明解决了现有移动端异构设备在面对多样的推理平台和推理配置、推理模型，由软硬件多样性带来的延迟开销预测建模困难、精度低的问题。