摘要
本发明提供了一种知识问答模型构建方法,所述方法包括将预训练语言模型作为基座模型并按照如下方式执行两阶段训练以获取知识问答模型:函数理解预训练:构建多个函数定义代码和多个函数调用实例来训练基座模型以使模型学习函数执行原理;指令微调训练:获取任务指令、查询实例以及查询实例对应的查询程序来训练初始模型以使模型学习函数组合编程原理。本发明的技术方案通过提出两阶段训练策略训练知识问答模型,使模型具备用于知识编程的函数的理解能力,以及基于函数理解能力将复杂问题转换为查询程序的能力,从而解决现有技术中模型倾向于记忆程序本身,而难以学习到语义解析的问题,进而提高模型对于域外含有未见查询语义的泛化性。
技术关键词
问答模型
知识问答系统
实体
程序
查询类别
预测序列数据
推理方法
两阶段
元素
预训练语言模型
模式
指令
定义
文本
语义
模板
生成答案
链接模块
基座
系统为您推荐了相关专利信息
图像生成方法
物体
循环神经网络模型
深度学习技术
图像获取模块
能量效率优化方法
预编码向量
系统能量效率
多用户通信系统
矩阵
船舶监控方法
图像特征向量
卷积神经网络提取图像特征
事件识别
视觉