推理请求处理方法、电子装置、介质和计算机程序产品

本申请实施例提供一种推理请求处理方法、电子装置、介质和计算机程序产品，通过获取至少一条第一请求消息；对所述至少一条第一请求消息进行语义特征提取，得到所述至少一条第一请求信息分别对应的第一语义向量；基于所述至少一条第一请求信息分别对应的第一语义向量，结合语义相似度匹配方法和分类方法，将所述至少一条第一请求消息分别调度到对应的目标推理节点；基于预加载的多级前缀缓存机制对各个目标推理节点的第一请求消息进行推理，得到所述至少一条第一请求消息分别对应的目标推理结果，也就是，在多个用户请求分别对应的推理节点提前加载前缀数据，减少了请求延迟，并采用多级缓存存储前缀数据，从而，提高了推理效率。