摘要
本发明公开一种算力主机管理平台的智能日志分析与异常检测方法及系统,涉及日志分析技术领域,方法包括:通过Fluentd与EventExporter实现多源数据采集,将标准化日志及集群事件信息存储至Elasticsearch中;解析原始日志生成日志模板,向量化日志模板,并使用DBSCAN算法对向量化后的日志模板进行聚类,得到日志指纹库;对实时日志进行模板提取与指纹匹配获取日志指纹频率,将其输入预训练的Isolation Forest模型,Isolation Forest模型通过对比日志指纹库统计时间窗口内日志模板频率,进行预测并识别突增异常;基于构建好的告警因果图谱,使用Random Walk算法与PageRank算法,对异常进行关联分析,并推荐根因。本发明可以从日志中自动识别异常模式,并对潜在问题进行预警。
技术关键词
智能日志
异常检测方法
实时日志
指纹
DBSCAN算法
异常检测系统
模板
PageRank算法
生成日志
频率
主机
日志分析技术
生成事件
平台
图谱
聚类
模型预训练
系统为您推荐了相关专利信息
环境图像数据
深度学习模型
异常检测方法
无人机
红外传感器
动态指纹
石墨烯超材料
虚拟MAC地址
输出功率可调
隧穿电流