摘要
本发明公开了一种面向下游分析反馈的数据清洗方法,包括:构建多层感知机分类器执行分类,生成软标签;脏数据结合软标签输入错误检测模型,输出特征向量形式的初步错误检测结果,通过聚类加权得聚类结果;选部分数据训练,分层抽样后输入多个同构错误检测模型,投票集成结果;利用交叉注意力机制的神经网络修补模型处理错误检测输出和脏数据,经特征提取、优化融合产出修正数据;下游模型反馈优化修补过程,获最终清洗数据。该方法主要通过基于深度学习的方法,对数据进行检测,并修复其中的脏数据,使得数据更加准确和可信。该方法能够根据下游任务的需求,对数据进行定制化处理,确保清洗后的数据能够直接应用于这些任务。
技术关键词
交叉注意力机制
错误检测技术
样本
数据清洗方法
动态共享数据
多层感知机
标签
神经网络模型
聚类
分类器
数据清洗系统
错误检测模块
基础
数据处理模块
输入错误
处理器
重构
系统为您推荐了相关专利信息
气体泄露检测方法
分布特征
训练样本集
计算机设备
成像模组
预测电力负荷
电力设备
电力调控方法
预测误差
电力调控装置
故障特征提取
滚动轴承
诊断方法
机电设备状态监测
信号
谐波
电能计量方法
一元线性回归方法
一元线性回归分析
信号