摘要
本发明提供一种基于异构数据集的高维度并行处理方法及系统,涉及数据处理技术领域,方法包括:收集多个异构数据;对异构数据进行预处理;通过U‑k‑means聚类算法,对预处理后的异构数据进行分类,生成多个含有相似结构的异构数据集;提取各个异构数据集的高维特征;根据高维特征,通过离群值检测算法,计算离群值检测排名;根据离群值检测排名,确定异常数据;基于深度神经网络,构建分布式计算框架,并行处理异常数据。通过本发明能够有效提高计算效率和处理能力,同时能够更准确地识别和处理复杂的数据异常,简化了处理过程,进一步节省了处理时间,增强了模型的泛化能力。
技术关键词
并行处理方法
异常数据
异构
GRU模型
分布式计算框架
深度神经网络
统计特征
邻居
深度学习框架
数据缺失值
分布式文件
数据处理技术
密度
特征值
协方差矩阵
算法
因子
数据格式
可读存储介质
系统为您推荐了相关专利信息
异构
数据插补方法
多层感知机
节点特征
车辆轨迹数据
故障诊断方法
故障诊断模型
训练集
多分类器
时频分析方法
数据修复方法
洪水预报方法
洪水预报模型
IDW插值方法
连续性