一种在线推理方法、装置、电子设备和存储介质

本申请涉及人工智能技术领域，尤其涉及一种在线推理方法、装置、电子设备和存储介质，用以提高在线推理任务与模型的匹配度。其中，方法包括：基于在线推理任务的任务内容，对在线推理任务进行划分，获得多个子任务；基于子任务的各任务属性特征各自的权重，对各任务属性特征进行融合，获得综合属性特征；基于综合属性特征和各候选模型各自的模型属性特征，从各候选模型中确定与子任务匹配的目标模型，并将子任务分配到目标模型进行处理；基于多个子任务各自的目标模型的处理结果，获得在线推理任务的处理结果。由于本申请对在线推理任务进行划分，基于每个子任务的任务属性确定匹配的目标模型，能够提高任务处理效率和资源利用率。