摘要
本发明公开了一种背景数据集中缓存方法、装置、设备及存储介质,该方法应用于背景数据缓存系统,该方法包括:在下游新增加载任务时,根据新增任务和当前集群任务中的各字段绘制桑基图,并确定桑基图中各节点间的相似度;根据桑基图中各节点间的相似度更新背景数据缓存系统的背景数据;获取数据请求记录和下游的预估访问量,确定背景数据对应的集群任务的业务重要性、访问量和响应时间;基于业务重要性、访问量和响应时间对背景数据进行冷热数据拆分,并根据拆分结果对背景数据进行存储。由于本发明根据桑基图中各节点间的相似度更新背景数据缓存系统的背景数据,并对背景数据进行冷热数据拆分,不仅减少了硬件资源浪费,还提升了存储效率。
技术关键词
数据缓存系统
集群
缓存方法
节点
内存
数据统计模块
缓存设备
缓存装置
状态更新
数据更新
程序
策略
处理器
识别模块
存储模块
存储器
算法
字段