摘要
本发明涉及对比学习领域,特别涉及一种文本数据处理方法及装置、文本数据检测方法及装置,所述方法包括将多个领域的人造文本输入大模型工具按照启发式规则分别得到对应的AIGC文本,组成检测增强文本对,并通过多层级的编码器网络和对应多层级的辅助编码网络分别对检测增强文本对中的文本进行编码,并使用多层级知识保护对比学习损失函数优化编码器模型。本发明使编码器模型能够同时对多个领域的文本数据进行无领域语义混淆的高精度文本AIGC检测并能在保持原始知识分布细微变化的情况下拉开人造文本与AIGC文本之间的语义分布,实现插件式的检测领域拓展与检测精度增强。
技术关键词
编码向量
文本数据处理方法
编码器
层级
低秩编码
启发式规则
数据检测方法
网络
语句
文本数据处理装置
语义
数据检测装置
损失函数优化
矩阵
模块
处理单元
线性
系统为您推荐了相关专利信息
门控循环神经网络
注意力机制
矿热炉电极长度
神经网络单元
归一化模块
分类器模型
特征提取模型
数据
参数
神经网络算法
集中控制模块
位移检测方法
位移检测设备
相机模块
无缝线路钢轨
日前优化调度方法
抽水蓄能机组
新型电力系统
水电机组
负荷
模式特征向量
整流二极管芯片
化工
编码向量
高温氧化炉