一种基于GPU、NPU的人工智能大模型推理加速方法及系统

本发明公开了一种基于GPU、NPU的人工智能大模型推理加速方法及系统，涉及大模型技术领域。一种基于GPU、NPU的人工智能大模型推理加速系统，包括有：推理信息分流模块和推理数据加速模块。本发明通过结合输入数据特征、模型结构动态控制、以及异构计算资源协同调度，实现了高度自适应的大模型推理优化，实现计算资源与数据复杂度的精准匹配，显著提升整体推理吞吐量和响应速度；采用基于策略输出模型的动态调度机制，合理分配GPU/NPU计算任务，避免资源空转与拥堵，提高硬件利用率，尤其适用于多任务并发和高帧率视频场景。