一种GPU显存及计算单元多模型共享方法

本发明公开了一种GPU显存及计算单元多模型共享方法，包括步骤：S1，对不同模型进行数据处理的各网络层拆分为通用层和区别层，并将每一模型的每一通用层和/或每一区别层分别部署在对应的GPU计算单元上；S2，识别拟运行的模型的网络层拆分结构，并通过负载均衡策略调用第一GPU计算单元执行对识别到的通用层的数据处理，调用第二GPU计算单元执行对识别到的区别层的数据处理。通过对模型拆分部署，模型采用相同的通用层，不同的区别层，模型特征结构实现了复用，避免显存独占，做到显存复用，能够部署更多的模型，充分利用了碎片化的显存空间。