摘要
本申请提供了一种数据处理方法和装置,涉及大数据技术领域,其中,该方法包括:从将目标数据作为输入序列,输入至大模型,以识别到序列中的缺失位置;针对缺失位置,通过数据重构学习所述输入序列中各个位置数据之间的内在结构,根据各个位置数据之间的内在结构,对缺失位置进行估计,以输出缺失值,并根据重构误差和预设阈值,识别出所述第一预处理后的数据中的异常值;根据异常值的类型,对异常值进行处理,得到预处理后的数据;输入预先建立的预测模型,得到数据预测结果。通过上述方案解决了现有的数据预处理所存在的效率低下、准确性不足和灵活性低,导致的预测数据准确度较低的技术问题,达到了有效提升预测数据准确率的技术效果。
技术关键词
序列
重构误差
数据处理方法
数据项
数据抓取技术
神经网络模型
建立预测模型
处理器
数据处理装置
大数据技术
指令
计算机程序产品
模块
标志
可读存储介质
分箱
机制
数值
系统为您推荐了相关专利信息
个性化推荐系统
兴趣
场景化数据
加权特征值
稀疏特征
异常检测方法
经验模态分解算法
输出开关柜
信号
计算机程序产品
流量预测模型
网络流量预测方法
数字孪生
历史流量数据
时间序列模型
视频异常检测方法
视频异常事件检测
上下文语义信息
时序特征
注意力机制