摘要
本发明公开了一种基于多维特征分析的大数据倾斜调控方法及终端,从大数据系统中收集各个数据源的数据对象,预处理数据对象,将预处理后的数据对象存储至预设图存储结构,根据预设图存储结构使用对应的图构建算法构建数据特征图;提取数据对象的关键特征,根据关键特征对数据对象进行多维特征分析,同时对数据特征图进行图计算,整合多维特征分析结果和图计算结果确定数据对象的倾斜情况,根据倾斜情况制定并执行大数据系统的数据调控策略;实时监测数据对象的倾斜情况,若倾斜情况发生变化,则根据变化情况调整数据调控策略,能够实现对数据的全面多维分析和复杂关系的挖掘,准确识别倾斜情况,从而优化资源分配。
技术关键词
多维特征分析
对象
调控策略
大数据系统
特征选择算法
调控方法
存储结构
主成分分析技术
构建算法
资源分配
节点
终端
数据格式
实时监测数据
指标
处理器
存储器
标识