摘要
本发明公开了基于结构感知及逐步蒸馏的多跳常识生成方法,具体如下:首先通过基于结构感知的编码器,将自然语言形式表述的前提原子集合映射到一个图结构中,使得模型更准确地捕获实例之间的复杂关系。此外,基于逐步蒸馏提取大模型阐述推理依据的能力,通过少样本思维链提示学习的方式,接着,将上述依据作为额外的信息来源,进行小模型的多任务训练。小模型不仅能够综合考虑多个前提原子,生成正确性较高的假设原子,还能够输出有助于其理解多跳常识推导过程的依据,从而提升多跳常识生成效果。最后,通过大语言模型构建了多跳常识数据集,具有较高的整体性能,生成更为复杂且流畅的假设原子,并维持了较高的正确性与多样性。
技术关键词
生成方法
大语言模型
蒸馏
小规模
自然语言
关系
编码器
训练语言模型
多任务
数据
处理器
定义
答案
计算机
模板
代表
节点
可读存储介质
存储器
解码器
系统为您推荐了相关专利信息
图像生成方法
图像生成模型
多头注意力机制
编辑
多尺度特征提取
知识图谱链接预测
去噪模型
推荐系统
样本生成方法
实体
染色体
生成方法
粒子群优化算法
编码规则
数据编码