多元算力推理装置、方法、电子设备、程序及存储介质

本申请公开了一种多元算力推理装置、方法、电子设备、程序及存储介质，应用于模型推理技术领域，包括：控制单元用于读取推理模型的模型参数并载入至第一资源组和第二资源组，接收推理请求并发送至第一资源组；第一加速卡的算力大于第二加速卡的算力，第二加速卡的带宽大于第一加速卡的带宽；第一资源组用于通过自身的各张第一加速卡，执行预填充运算，并将运算结果通过加速器互联交换机发送至第二资源组；第二资源组用于通过自身的各张第二加速卡，执行针对推理请求的解码运算，得到针对推理请求的推理结果，解决了资源的利用率不高的技术问题，达到了实现高效的推理，提高资源利用率的技术效果。