一种基于结构感知及逐步蒸馏的多跳常识生成方法

AITNT
正文
推荐专利
一种基于结构感知及逐步蒸馏的多跳常识生成方法
申请号:CN202411059019
申请日期:2024-08-02
公开号:CN118964942A
公开日期:2024-11-15
类型:发明专利
摘要
本发明公开了基于结构感知及逐步蒸馏的多跳常识生成方法,具体如下:首先通过基于结构感知的编码器,将自然语言形式表述的前提原子集合映射到一个图结构中,使得模型更准确地捕获实例之间的复杂关系。此外,基于逐步蒸馏提取大模型阐述推理依据的能力,通过少样本思维链提示学习的方式,接着,将上述依据作为额外的信息来源,进行小模型的多任务训练。小模型不仅能够综合考虑多个前提原子,生成正确性较高的假设原子,还能够输出有助于其理解多跳常识推导过程的依据,从而提升多跳常识生成效果。最后,通过大语言模型构建了多跳常识数据集,具有较高的整体性能,生成更为复杂且流畅的假设原子,并维持了较高的正确性与多样性。
技术关键词
生成方法 大语言模型 蒸馏 小规模 自然语言 关系 编码器 训练语言模型 多任务 数据 处理器 定义 答案 计算机 模板 代表 节点 可读存储介质 存储器 解码器
系统为您推荐了相关专利信息
1
一种基于噪声算法的三维仿真颗粒生成方法
噪声 像素点 生成方法 几何体模型 算法
2
一种可编辑条件印花图像生成方法
图像生成方法 图像生成模型 多头注意力机制 编辑 多尺度特征提取
3
推荐系统的知识图谱链接预测任务负样本生成方法和装置
知识图谱链接预测 去噪模型 推荐系统 样本生成方法 实体
4
一种测试用例生成方法及装置
染色体 生成方法 粒子群优化算法 编码规则 数据编码
5
一种基于双阶段密集检索的知识图谱关系抽取方法
自然语言 交互特征 阶段 表达式 注意力机制
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号