一种基于强化学习的过滤式缓存替换方法及相关装置

本发明公开了一种基于强化学习的过滤式缓存替换方法及相关装置，该方法采用动态学习率技术，时刻关注方法运行时缓存未命中情况，通过将未命中情况量化为损失值，利用梯度下降法朝减小损失值的方向调整学习率，让缓存替换方法始终处于较优的性能。通过将缓存替换问题抽象为多臂老虎机问题，使用带有权重值LRU、LFU算法指导缓存替换的进行。根据缓存未命中情况调整专家算法权重，以期自适应变化的工作负载。对于缓存结构，逻辑上划分为三层，缓存的前两层快速过滤非频繁访问数据，缓存的第三层尽可能的将未来频繁访问的数据留存，以提高缓存替换算法的命中率。该方法还会动态调整缓存结构，进一步增强方法的适应能力。