智能推理集群的业务水平的评估方法、装置、介质及产品

本公开提供一种智能推理集群的业务水平的评估方法、装置、介质及产品，应用于智算中心建设与评估技术领域。本公开中，根据待评估智能推理集群中人工智能加速卡加载的人工智能模型的类型，确定人工智能加速卡支持的卡最大会话数量，类型用于表征人工智能模型对时延的敏感程度。根据卡最大会话数量和待评估智能推理集群的业务参数，计算用于表征待评估智能推理集群的业务水平的在线用户数量。因为智能推理集群的推理结果需要推送至客户，所以使用在线用户数量作为评估智能推理集群的业务水平的指标，可以更加接近实际业务场景，使评估更加准确。因此，提高了智能推理集群的业务水平的评估准确性。