摘要
本发明公开了一种基于语义筛选与相似度聚类的日志模板后处理方法及系统,方法包括:将日志信息输入LLM生成日志模板;将新日志模板和缓存日志模板输入语义模型中,分别生成语义嵌入向量;计算新日志模板和缓存日志模板的相似度距离,并筛选得到候选模板;根据生成置信度评分,计算新日志模板与每个候选模板之间的加权结构相似度,并将超出阈值的候选模板进行聚类合并,生成最终模板;将最终模板更新并替换至缓存结构中。通过本发明的技术方案,能够更合理、高效、精准地识别并合并语义相似模板,能够在不增加LLM调用负担的前提下构建语义增强、可控、稳定的模板后处理机制,实现缓存的自动清理、模板数量控制和结构一致性维护。
技术关键词
模板
语义
后处理方法
密度聚类算法
后处理系统
生成日志
BERT模型
编码器
模块
序列
因子
矩阵
指标
负担
机制