一种车云协同中基于模型压缩和知识蒸馏的DNN推理加速方法

本发明公开一种车云协同中基于模型压缩和知识蒸馏的DNN推理加速方法，包括以下步骤：1)建立车云协同计算系统，包括云端服务器和车载终端设备；2)基于车载终端设备资源限制，在云端服务器上对预训练的DNN模型进行压缩；3)在云端服务器上，对压缩后的DNN模型进行蒸馏；4)以总推理延迟最短为目标，对蒸馏后的DNN模型进行分割，得到第一DNN模型和第二DNN模型，并将第一DNN模型部署在车载终端设备上，将第二DNN模型部署在云端服务器；5)执行DNN推理。本发明综合考虑了不同的车载终端任务对准确率及推理时延的要求，将DNN模型进行压缩并分区部署在车载终端设备和云端服务器上，进一步提高了DNN推理的速度。