摘要
本发明公开了一种适用于大数据分析的数据预处理方法及系统,涉及数据预处理技术领域。包括通过大数据收集原始数据;使用动态相关性补充方法计算补充值,对数据的缺失特征值进行补充,对缺失特征值的补充更加符合数据的整体趋势,提高补充值准确性;通过可靠性常数计算方法获取不同来源的可靠性常数,对不同来源的数据进行不同比例的抽取;将数据进行合并、统一和归一化处理。本发明通过动态相关性补充方法计算补充值,对数据的缺失特征值进行补充,根据数据的其他特征值与缺失特征值的相关性,确定其他特征值对缺失特征值的相关权重,相关性呈动态变化,对缺失特征值的补充更加符合数据的整体趋势,提高补充值准确性。
技术关键词
数据预处理方法
特征值
常数计算方法
样本
更新方法
数据预处理系统
数据预处理技术
大数据
数据转换模块
数据收集模块
动态
机器学习算法
格式
数据处理模块
集成模块
数值
编码
代表
速度
系统为您推荐了相关专利信息
半导体晶体管
工作状态监测
元器件
参数
分析方法
负荷监测系统
边缘计算技术
超载设备
生成设备
异常状态
三维模型
样本生成方法
视角
雷达散射截面
射线管
缺陷视觉
视觉验证系统
模拟实验装置
识别算法
高分辨率摄像头
音色特征
大语言模型
频谱特征
音频特征
文本信息提取