一种异构众核架构下进行异步深度学习推理方法及系统

本申请涉及一种异构众核架构下进行异步深度学习推理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：定义异步获取接口和推理结果接口；调用异步获取接口将主机端的数据发送至预设的推理框架并获取对应的句柄结果；基于所述句柄结果调用推理结果接口获取推理框架对应的推理结果。采用本方法通过提出一套用户接口，可以让用户方便地在异构众核上进行异步深度学习推理，并提出一种实现方式，能够高效实现将数据从Host端的内存拷贝到Device端的内存上，异构设备上进行计算，设备进行推理计算，再将结果拷贝回Host端的内存的异步进行，同时，能够在用户无感，性能无损的情况下将数据切分到众核架构的各个核上。