一种基于余弦相似度与交并比的文本相似性分析方法及系统

本发明公开一种基于余弦相似度与交并比的文本相似性分析方法及系统，涉及大数据分析技术领域，针对传统数据比对方法效率低下且准确性差的问题，采用方案包括：获取多组原始数据，提取关键字段文本并清洗过滤，筛选业务相关有效关键词，形成每组数据对应的关键词集合；每组预处理数据构成独立数据集，并唯一关联一个关键词集合；基于关键字段文本和关键词集合，通过分词构建TF‑IDF矩阵量化文本特征，计算并缓存各数据集的平均向量，用于后续语义相似度比对；结合余弦相似度和Jaccard交并比构建综合评分机制，筛选相似关联数据集，生成高相似度集合并批量存储，为可视化展示与深度分析提供数据支撑。本发明可以实现对不同数据文本的智能化匹配与关联分析。