摘要
本发明提供一种异常数据的识别和清洗方法和系统,涉及数据处理技术领域,通过获取实时数据流,使用经训练的高斯混合模型确定自适应阈值,检测异常数据点,采用深度信念网络与长短时记忆网络复合模型进行深层次特征学习和异常验证,得到高级特征表示和异常程度量化评估结果;利用概率图模型评估异常数据点间的条件依赖关系,构建目标概率依赖图谱,生成异常数据点识别结果。基于识别结果,应用奖励机制激励算法优化清洗策略;识别待确定异常区域,引入多模态融合技术进行相关性分析,基于分析结果对待确定异常区域中的数据进行判断和清洗,以得到目标清洗策略,提升了异常数据识别与清洗的效率和准确性,具备较强自适应能力和扩展性。
技术关键词
异常数据点
条件依赖关系
清洗策略
高斯混合模型
多模态融合技术
异常数据处理
深度信念网络
图谱
节点
时间序列特征
激励算法
清洗方法
卷积神经网络提取图像特征
多层感知机
受限玻尔兹曼机
期望最大化算法
存储组件
集成学习方法