大模型推理集群的推理性能数据获取方法、装置及设备

本发明公开了一种大模型推理集群的推理性能数据获取方法、装置及设备，涉及人工智能技术领域，包括：在存在推理请求的情况下，针对目标大模型推理集群中每个计算节点，确定推理请求发起位置、推理请求完成回复位置、首个token返回的位置和推理总时长；根据所获取的推理请求发起位置的请求发起数量、推理请求完成回复位置在单位时间内的吞吐量、首个token的处理时长和每个token的处理时长，得到推理性能数据。由此，通过统计每个计算节点的请求发起数量、吞吐量和时延，可以得到集群所有计算节点的推理性能信息，解决了集群推理性能数据难以准确获取的问题，达到了高效、精准地监控和管理大模型推理集群性能的技术效果。