大模型高并发推理的存储分层加速系统

本发明涉及人工智能基础设施技术领域，具体地说，涉及大模型高并发推理的存储分层加速系统，包括访问热度采集模块、压力分析模块、迁移执行模块和异构存储池；所述访问热度采集模块用于实时采集模型参数的访问频率A和访问延迟D。本发明通过设置访问热度采集模块和压力分析模块，达到实时感知系统压力并精准触发迁移的效果，访问热度采集模块持续监控模型参数的访问频率和延迟，压力分析模块基于历史峰值和动态阈值计算存储压力指数，当指数超过预设阈值时，立即触发迁移操作，解决了金融交易高峰期因存储I/O瓶颈导致的延迟超标问题，使系统在每秒数万笔并发请求下仍能保持毫秒级响应，避免了因延迟抖动引发的风险误报和漏报。