语言模型的服务性能测评方法、装置、设备、系统及介质

本发明公开了一种语言模型的服务性能测评方法、装置、设备、系统及介质，涉及云计算技术领域，该方法应用于云管理平台，包括：利用任务管理组件，根据获取的测评任务请求，创建容器编排平台集群的目标配置管理对象；在容器编排平台集群上创建测评任务请求对应的测评工作任务，以使容器编排平台集群利用测评工作任务对应的容器，在目标工作镜像中运行性能评测引擎；根据获取的测评工作任务的注解，得到容器编排平台集群的目标语言模型服务的性能测评信息；本发明通过动态创建目标配置管理对象，能够挂载性能评测引擎到容器编排平台集群的测评工作任务中运行，实现云管理平台对预训练语言模型服务的自动化性能测评，提高了测评的准确性和效率。