摘要
本发明公开了一种多源异构数据智能清洗处理方法及系统,属于数据清洗处理方法技术领域,获取工业传感器时序数据、长文本日志数据以及其他高维工业数据,对获取的数据进行清洗、缺失值处理、标准化、文本处理以及时间戳对齐,将预处理后的工业传感器时序数据输入Transformer自编码器,在Transformer输出的低维特征空间中,应用密度敏感的聚类方法,设定邻域半径和最小点数,识别数据密集区形成的数据簇和稀疏区的噪声点。
技术关键词
多源异构数据
滑动窗口采样
时序
前馈神经网络
文本
传感器
编码器
注意力机制
设备故障日志
工业
噪声
编码模块
瓶颈
邻域
模型训练模块
非线性特征
密度
系统为您推荐了相关专利信息
大语言模型
物业管理系统
多头注意力机制
前馈神经网络
文本
文本生成模型
实体
文本生成方法
知识图谱向量
关系