推理板卡、基于推理板卡的推理方法、设备、介质和产品

本公开涉及计算机技术领域，公开了推理板卡、基于推理板卡的推理方法、设备、介质和产品，推理板卡包括多个表征硬件资源集合的推理单元，方法包括：获取待推理数据；根据待推理数据的总数据量和推理板卡中允许并行使用的推理单元的第一数量，确定允许并行运行的推理模型的第二数量；为第二数量的推理模型分别分配推理单元，并将各个推理模型加载至所分配的推理单元中；将待推理数据划分为多个数据子集，并为加载至推理单元中的各个推理模型分配不同数据子集中的待推理数据，以使推理单元并行运行推理模型，对获取到的待推理数据进行并行推理。可以提高模型推理效率。