摘要
本发明公开的属于流式数据技术领域,具体为流式数据的自适应采样与近似查询方法,包括具体步骤如下:S1,基于数据特征的权重分配:分析流式数据的特征,为每个数据点分配相应的权重;对于变化剧烈、波动较大的数据点赋予较高权重;对于变化平缓的数据点赋予较低权重;S2,基于机器学习的异常检测机制:利用历史数据训练异常检测模型,实时对流式数据进行异常检测。本发明通过设置基于数据特征的权重分配、动态调整采样率和分桶采样,具有能够依据数据权重和系统资源状况,有针对性地减少数据处理量,无需对全部流式数据进行处理,大大降低了对计算能力和存储能力的需求。
技术关键词
近似查询方法
深度学习模型
采样率
学习异常检测
阶段
参数优化模型
点分配
实时监测系统
异常数据点
告警机制
查询算法
告警规则
误差
填充方法
训练集
特征工程
采样方法
噪声数据