一种基于LLM2Vec算法的文本查重方法及系统

本发明公开了一种基于LLM2Vec算法的文本查重方法及系统，用于文本查重技术领域，该基于LLM2Vec算法的文本查重方法及系统包括以下步骤：使用LLM2Vec算法将文本转换为特征向量；利用余弦相似度方法计算各特征向量之间的余弦相似度；预设相似度阈值，将计算得到的余弦相似度与相似度阈值比较，并判断本文之间是否相似。本发明通过生成高质量文本向量表示的文本编码器，不仅能够捕捉文本的丰富语义信息，还能够区分不同文本之间的细微差别，这对于各种自然语言处理任务都是非常有价值的。