摘要
本申请实施例提供了一种模型数据回流方法、电子设备及装置,涉及数据处理技术领域,应用于Kong网关,上述方法包括:接收用户端发送的推理请求;将推理请求转发至用于处理推理请求的AI模型的推理服务;获得推理服务响应于推理请求生成的推理结果;将推理请求与推理结果记录于缓存队列中;从缓存队列中提取所缓存的数据,基于所提取的数据生成推理日志,以实现模型数据回流。应用本申请实施例提供的方案能够对AI模型的推理数据进行数据回流。
技术关键词
数据体
数据回流方法
人工智能AI模型
队列
日志
电子设备
机器可读存储介质
网关
标识
处理器
数据处理技术
回流装置
令牌
会话
模块
收发器
指令
计算机
系统为您推荐了相关专利信息
深度学习预测模型
运维故障
预测系统
策略
多源异构数据
长短期记忆神经网络
密钥
微服务系统
定位检测方法
序列
火力发电机组
综合评价指标
历史监测数据
综合协调控制
监测方法
大语言模型
负载均衡器
阶段
解码
高性能计算能力