一种基于国产GPU的人工智能应用部署方法

本发明公开了一种基于国产GPU的人工智能应用部署方法，包括：加载人工智能应用的算法模型，解析并提取算法模型中用到的神经网络算子，并按照原始算法模型中的算子顺序形成计算流图；从OpenCL平台中选择国产GPU设备，基于此GPU设备创建上下文，在上下文上创建命令队列，同时利用缓存区对象为各算子创建kernel对象和内存对象；利用OpenCL编写各算子的并行计算kernel，同时生成这些算子的程序对象和实例化kernel；按照计算流图中的算子前后连接关系，顺序调用kernel，并将kernel运行在国产GPU设备上，从而完成人工智能应用的部署。本发明使得AI应用可高性能部署，且不需要网络传输，延时低。