一种用于管理目标应用并发请求的方法及系统

本申请提供了一种用于管理目标应用并发请求的方法及系统，其中，该方法通过在分布式缓存中维护每个目标应用的并发请求状态，包括最大并发数限制值max_active_requests和活跃请求集合active_requests，在接收到新请求时进行并发检查与准入控制，并在请求处理完成或异常时自动释放资源。系统还包含周期性清理模块，用于扫描并移除超时请求，防止僵尸请求长期占用资源。本发明进一步支持运行时动态调整并发限制，并采用流式任务封装机制以简化请求处理逻辑。该技术方案适用于人工智能模型服务化部署平台，能够有效提升系统的稳定性。