基于Triton-Inference-Server的大模型高性能推理加速方法及系统

本发明公开了基于Tr iton‑I nference‑Server的大模型高性能推理加速方法及系统，所述方法包括S1、接收用户提供的模型配置信息，根据模型配置检测是否存在本地模型拷贝，若不存在，则从远程存储下载模型并生成符合推理服务器要求的配置文件，S2、支持用户上传定制化模型或微调模型，并对模型进行加载、优化和参数融合，S3、根据用户需求对模型进行量化处理，采用多种量化方法以优化推理性能；该基于Tr iton‑I nference‑Server的大模型高性能推理加速方法及系统，解决了现有技术多模型推理服务系统在管理复杂性、高时延、低吞吐量及服务鲁棒性方面的局限性的问题。