摘要
本发明提供了一种基于集成学习与高级语义统计特征分析的AI文本识别方法及装置,所述AI文本识别方法包括:步骤1,将待识别文本分别送入Bert 检测器和高阶自然语言统计特征检测器进行识别,所述高阶自然语言统计特征检测器包括单词对数概率检测器、单词排名对数检测器、Entropy检测器、困惑度检测器;步骤2,使用选举模块对Bert 检测器和高阶自然语言统计特征检测器输出的检测结果进行选举,获得AI文本识别结果。本发明采用集成学习策略,将经过微调的预训练语言模型与高阶自然语言统计特征结合在一起,使得模型在检测大语言模型生成文本时,既能充分利用预训练语言模型的强大表达能力,又能通过高阶统计特征捕捉到文本的深层次规律,提高检测准确率。
技术关键词
文本识别方法
检测器
标记
大语言模型
自然语言
序列
语义
高阶统计特征
集成学习策略
文本识别装置
预训练语言模型
通信接口
处理器
分词
存储器
计算机程序产品
系统为您推荐了相关专利信息
可见光视频
视觉数据集
大语言模型
融合特征
时序特征