摘要
本发明公开了一种可解决灾难性遗忘的文本预测方法、相关装置及存储介质,其方法包括:对原始语言模型进行微调;载入原始语言模型和微调语言模型;将原始语言模型和微调语言模型进行融合,得到融合语言模型;将目标文本和通用文本输入至融合语言模型,以评估融合语言模型分别在目标文本任务和通用文本任务上的性能级别;选择在目标文本任务上性能级别为高级别,且在通用文本任务上性能级别为中级别及以上的融合语言模型作为最终语言模型,并利用最终语言模型对待预测的目标通用文本进行预测,得到预测结果。本发明能够保证最终语言模型能保持在通用任务上的泛化能力,同时提高在目标任务上的性能,进一步有效避免灾难性遗忘的问题。
技术关键词
文本预测方法
梯度下降算法
数据
超参数
处理器
可读存储介质
微调单元
训练集
预测装置
计算机设备
格式化
存储器
样本
噪声
系统为您推荐了相关专利信息
无人机蜂群
编目方法
判别算法
轨迹点数据
生成无人机
爬虫框架
抓取频率
数据库存储器
分布式爬虫技术
过滤模块