摘要
本发明涉及一种节省存储与算力的数据处理方法及相关设备。包括:构建数据处理器和与对应的监听调度器,以监测待处理数据;通过数据处理器进行数据预处理以得到初始数据;通过数据处理器基于预设算法和初始数据的内在关联性对初始数据进行分拆,得到若干数据子集,其中,每一数据子集包含初始数据的部分特征;通过数据处理器基于第一预设压缩算法对所有数据子集分别进行压缩以得到对应的数据块,并基于第二预设压缩算法对所有数据块分别进行压缩以得到若干目标数据组件;构建资源调度器,以根据数据处理器的数据请求分配目标数据组件至对应的系统处理器进行处理。实施本发明可以有效降低数据系统处理器中资源消耗,减少对数据系统处理器的需求。
技术关键词
数据处理器
数据处理方法
资源调度器
压缩算法
LZ77算法
积层
资源分配
电子设备
计算机存储介质
存储计算机程序
存储器
噪声
网络
参数
模块
系统为您推荐了相关专利信息
多维索引结构
关系型数据库
分布式存储系统
备份恢复方法
分布式计算框架