摘要
本申请涉及人工智能技术领域,公开了数据处理方法、平台、介质及产品。数据处理方法包括:接收推理请求;判断当前是否运行第一Knative框架实例;若当前运行第一Knative框架实例,识别与第一Knative框架实例对应的第一推理集群是否与推理请求匹配;若当前未运行第一Knative框架实例,或第一推理集群与推理请求不匹配,基于推理请求创建第二Knative框架实例,基于第二Knative框架实例创建第二推理集群,将推理请求分配到第二推理集群中相应的服务节点进行处理。本申请至少用以解决服务连续性差、流量高峰时性能瓶颈、无法支持生产级的高并发长输出上下文的大模型推理的问题。
技术关键词
数据处理方法
集群
框架
数据处理平台
节点
模式
人工智能技术
计算机程序产品
指令
介质
处理器
连续性
瓶颈
逻辑
资源