摘要
本发明实施例公开了一种基于语言模型提示学习的常识推理方法。该方法包括:获取训练数据集和预训练语言模型;其中,训练数据集中包括至少一个批次对应的问答对数据;针对当前训练批次,基于当前训练批次的当前问答对数据、预先确定的当前提示向量和预训练语言模型,确定与当前提示向量对应的当前损失值和与当前损失值对应的当前梯度;基于当前梯度和预先确定的预设嵌入向量,确定下一训练批次的问答对数据对应的下一提示向量,以基于下一提示向量重复执行确定损失值操作,直到最新损失值满足预设训练目标,得到最新提示向量;基于最新提示向量、待回答题干和待迁移推理模型,确定与待回答题干对应的回应信息。
技术关键词
问答对数据
预训练语言模型
答案
文本
标记
算法