摘要
提供了基于提示学习的生成式对话状态跟踪方法,包括基于图、描述的细粒度提示学习方案和基于输入蒸馏的二次提示生成方案。为解决当前生成式预训练模型在对话状态跟踪任务中提示较为单一且粒度较大的问题,拟通过引入更为细粒度的提示和基于输入蒸馏的二次提示机制来提高模型在当前领域的泛化能力和预测精度。细粒度的提示主要是基于图、描述的嵌入表示,将其作用于具体的编码过程中,来深入控制目标槽值的生成,而基于输入蒸馏的二次提示机制则是进一步通过显式标记来引导模型进行槽值生成。
技术关键词
对话状态跟踪方法
关系
预训练语言模型
编码器
链接方法
索引
矩阵
预训练模型
蒸馏方法
节点特征
注意力机制
处理器
阶段
格式
系统为您推荐了相关专利信息
模拟退火算法
管理方法
节点特征
决策支持系统
企业
文本特征向量
图像特征向量
多模态
三元组损失函数
视觉