数据处理方法、平台、介质及产品

AITNT
正文
推荐专利
数据处理方法、平台、介质及产品
申请号:CN202510535425
申请日期:2025-04-27
公开号:CN120448115A
公开日期:2025-08-08
类型:发明专利
摘要
本申请涉及人工智能技术领域,公开了数据处理方法、平台、介质及产品。数据处理方法包括:接收推理请求;判断当前是否运行第一Knative框架实例;若当前运行第一Knative框架实例,识别与第一Knative框架实例对应的第一推理集群是否与推理请求匹配;若当前未运行第一Knative框架实例,或第一推理集群与推理请求不匹配,基于推理请求创建第二Knative框架实例,基于第二Knative框架实例创建第二推理集群,将推理请求分配到第二推理集群中相应的服务节点进行处理。本申请至少用以解决服务连续性差、流量高峰时性能瓶颈、无法支持生产级的高并发长输出上下文的大模型推理的问题。
技术关键词
数据处理方法 集群 框架 数据处理平台 节点 模式 人工智能技术 计算机程序产品 指令 介质 处理器 连续性 瓶颈 逻辑 资源
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号