一种基于信息熵增益的文本检测方法、系统及其训练方法

本发明属于自然语言文本来源分类相关技术领域，其公开了一种基于信息熵增益的文本检测方法、系统及其训练方法，首先基于信息熵增益映射表将文本转换为特征向量，信息熵增益映射表记录有不同词汇对应的信息熵增益，特征向量由文本中的不同词汇的信息熵增益组成；再使特征向量经过分类神经网络，输出是否为AI文本的二分类结果。本发明利用信息熵增益衡量词汇对文本来源分类的贡献度，熵增益越高的词汇，其对于文本来源分类的贡献度越大，分类神经网络越倾向于基于该特征进行学习与预测，因此能够有效提升区分人工与大模型生成文本的准确性、鲁棒性及整体性能，且检测无需访问模型内部且无需依靠水印标签。