基于路由技术的大语言模型高效混合推理方法、设备及存储介质

本申请公开了一种数据处理，涉及基于路由技术的大语言模型高效混合推理方法、设备及存储介质技术领域，所述基于路由技术的大语言模型高效混合推理包括：若接收到用户请求，确定所述用户请求与缓存库中各历史请求之间的相似度；若不存在所述相似度超过相似度阈值，基于准确率评分模型确定各待选处理模型的评分指标，所述评分指标包括准确率、响应时间以及接口费用；根据所述评分指标确定各所述待选处理模型的综合得分；根据所述综合得分于各所述待选处理模型中选取目标模型，并将所述用户请求路由至所述目标模型。本申请达成了优化大语言模型的选择以实现用户请求的高效响应的技术效果。