基于语言模型提示学习的常识推理方法

AITNT
正文
推荐专利
基于语言模型提示学习的常识推理方法
申请号:CN202411104895
申请日期:2024-08-13
公开号:CN119106733A
公开日期:2024-12-10
类型:发明专利
摘要
本发明实施例公开了一种基于语言模型提示学习的常识推理方法。该方法包括:获取训练数据集和预训练语言模型;其中,训练数据集中包括至少一个批次对应的问答对数据;针对当前训练批次,基于当前训练批次的当前问答对数据、预先确定的当前提示向量和预训练语言模型,确定与当前提示向量对应的当前损失值和与当前损失值对应的当前梯度;基于当前梯度和预先确定的预设嵌入向量,确定下一训练批次的问答对数据对应的下一提示向量,以基于下一提示向量重复执行确定损失值操作,直到最新损失值满足预设训练目标,得到最新提示向量;基于最新提示向量、待回答题干和待迁移推理模型,确定与待回答题干对应的回应信息。
技术关键词
问答对数据 预训练语言模型 答案 文本 标记 算法
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号