摘要
本发明涉及一种基于深度学习的自动化日志异常检测方法及系统。所述方法包括提取具有代表性的日志模板序列;对日志模板序列进行编码,生成表达日志模板的高维语义向量;构建CNN‑BiLSTM‑Attention模型,基于高维语义向量,输出每个数据点的预测值和实际值之间的差异;采用有监督学习方法,对所述模型进行训练和优化;通过训练好的模型对待测日志数据进行推理,如果预测值和实际值之间的差异超过设定的阈值,则触发告警。所述方法充分发挥了基于大语言模型的日志模板提取能力、Sentence‑BERT的语义提取能力和CNN‑BiLSTM‑Attention模型的日志序列特征捕获优势,显著提升了日志异常检测的准确性和效率。
技术关键词
日志异常检测方法
语义向量
模板
时序特征
序列
广义帕累托分布
BERT模型
消息
监督学习方法
大语言模型
日志解析
符号
数据
聚类
多头注意力机制
异常检测系统
语义特征提取
信息熵
解析日志