摘要
本公开提供了一种日志数据处理方法,涉及云计算技术领域,可以应用于金融技术领域。所述方法包括:基于流式数据采集工具和消息中间件收集日志数据;基于动态负载均衡算法对收集到的日志数据进行数据预处理;将经过预处理的日志数据输入预先训练的分类模型中,以输出所述日志数据对应的类别;监控每一类别日志数据的访问频率;根据所述访问频率对所述日志数据进行差异化存储;基于分布式搜索引擎框架对所述日志数据创建数据索引。本公开还提供了一种日志数据处理装置、设备、存储介质和程序产品。
技术关键词
日志数据处理方法
分布式搜索引擎
负载均衡算法
收集日志数据
日志数据处理装置
数据采集工具
训练分类模型
分布式计算系统
数据访问
动态
数据查询请求
低频率
云计算技术
关键字
计算机程序产品
处理器
系统为您推荐了相关专利信息
调度请求消息
服务端
调度请求信息
调度装置
KV数据库
功能模块
自动化部署方法
采集工具
日志
操作系统