摘要
本说明书提供了一种模型持续预训练和信息推荐方法、装置、介质及设备。在此方法中,获取目标领域的领域知识文件;将领域知识文件输入预设的对话生成模型,以使对话生成模型根据预设的提示信息,提取领域知识文件中包含的各项领域知识信息,并生成每项领域知识信息对应的查询文本,以及,基于各项领域知识信息及其对应的查询文本构建多轮对话样本;基于多轮对话样本对经过预训练的通用问答模型进行持续预训练。本方案提高了通用问答模型对目标领域下相关内容的语义理解能力,进一步保证了通用问答模型所生成信息的精准性。
技术关键词
问答模型
多轮对话
对话生成模型
文本
信息推荐方法
输出特征
双向注意力机制
样本
信息推荐装置
预训练方法
重构
处理器
指令
计算机程序产品
复杂度
训练装置
偏差
输入模块
可读存储介质
系统为您推荐了相关专利信息
施工机械
状态判别方法
文本编码器
图像编码器
判别系统
文本编码器
非暂时性机器可读存储介质
视频编码器
大语言模型
摘要
融合特征
表格
图像块
大语言模型
多尺度特征提取