摘要
本发明公开了一种自然语言处理模型的训练方法、自然语言处理方法及装置,包括:获取若干条待训练文本;基于预设的标点符号,分别对各待训练文本进行增强处理,得到增强文本;分别将待训练文本及其对应的增强文本输入至预训练模型,得到第一处理结果和第二处理结果;基于第一处理结果和第二处理结果,确定对比损失值和标签损失值;基于对比损失值和标签损失值,对预训练模型的参数进行优化,得到自然语言处理模型。本发明运用标点符号对文本进行数据增强,使得增强文本不会改变文本原有的语义,进而通过计算第一处理结果和第二处理结果之间的对比损失值,从而结合原始文本与增强文本之间的相关性进行模型训练,以提高模型的泛化能力和向量表示。
技术关键词
自然语言
标签
计算机可读指令
预训练模型
文本识别
模块
训练装置
参数
处理器
计算机设备
存储器
语义
数据
系统为您推荐了相关专利信息
数据依赖关系
人工智能处理器
内容可寻址存储器
关键性
队列
溯源检测方法
图像
计算机程序指令
优化卷积神经网络
样本
迁移诊断方法
融合注意力机制
故障分类器
多尺度
通道注意力机制
指标监控方法
计算机可读指令
读取系统
灵敏度参数
计算机设备