摘要
本发明公开了一种大数据平台数据处理方法、装置及系统,该方法包括:根据预定规则预先对用于存储数据的至少两个集群节点进行异构处理,以得到第一类节点和第二类节点;获取数据库中各数据的属性信息;将数据库中各数据的属性信息输入至预先训练的数据分类模型,以输出各数据的分类标签,所述数据分类模型基于决策数算法和训练文本进行训练;根据各数据的分类标签分别将各数据存储至所述第一类节点或者所述第二类节点。通过本发明,可以优化数据存储和管理的效率和成本,提高数据的安全性和稳定性。
技术关键词
数据分类模型训练
节点
大数据平台
数据处理方法
集群
异构
数据存储
文本
数据处理装置
标签
决策树算法
数据处理系统
处理单元
记录单元
存储单元
系统为您推荐了相关专利信息
体系架构模型
体系架构设计
模型关联关系
数据
图元
大数据
分布式数据存储
生态
分布式文件系统
多源异构数据
通信算法
并行策略
集群
非易失性存储介质
图形处理器