面向高并发API服务的AI网关多级缓存同步方法和系统

AITNT
正文
推荐专利
面向高并发API服务的AI网关多级缓存同步方法和系统
申请号:CN202510701468
申请日期:2025-05-28
公开号:CN120528975A
公开日期:2025-08-22
类型:发明专利
摘要
本发明公开一种面向高并发API服务的AI网关多级缓存同步方法及系统,获取请求提取请求中的数据信息,在内存中进行请求路由、安全认证、服务鉴权、流量控制;当请求次数达到预设阈值时,将所述数据信息写入系统缓存和/或数据库进行更新;当用户进行充值操作时,通过UpdateUser函数基于多级缓存架构获取用户数据进行余额计算及更新;基于发布订阅机制实时更新内存数据信息至系统缓存及数据库以进行数据一致性维护。在内存中完成请求路由、安全认证等关键操作,利用内存的高速读写特性,极大降低请求处理延迟,支撑每秒万级甚至更高的并发量。减少对后端缓存和数据库的依赖,避免性能瓶颈。
技术关键词
缓存同步方法 面向高并发 发布订阅机制 内存 服务鉴权 写入系统 网关 缓存同步系统 配额 滑动窗口算法 令牌桶算法 滑动时间窗口 计数器 数据格式 充值模块 日志监控 路径匹配 缓存系统 更新系统
系统为您推荐了相关专利信息
1
多模态融合的智能交互大语言模型系统
大语言模型 跨模态 特征提取模块 机器学习模型 动态分配内存
2
基于强化学习的NUMA架构下多核处理器任务调度方法
任务调度方法 任务调度模型 强化学习算法 处理器板卡 节点
3
一种解决裸机分层的方法
地址映射表 分层 地址转换 操作系统 入口
4
Serverless场景下动态链接库代码布局优化方法及系统
动态链接库 布局优化方法 布局优化系统 分支 兼容性问题
5
一种异构强化学习与有限元协同仿真系统及方法
协同仿真系统 数据压缩算法 数据交互通道 服务器 程序
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号