摘要
本申请属于人工智能技术领域,涉及一种提示压缩方法、装置、计算机设备及存储介质,该方法包括:获取蒸馏语言模型以及与蒸馏语言模型相对应的词汇表以及嵌入矩阵,其中,蒸馏语言模型的注意力掩码为presting掩码;分别在词汇表以及嵌入矩阵中添加要点标记,得到标记词汇表以及标记嵌入矩阵;获取第一任务序列,在第一任务序列的任务文本以及输入文本中间插入k个连续的要点标记,得到第一预测序列;将第一预测序列输入至蒸馏语言模型进行预测操作,得到输出数据,其中,输出数据由要点标记组以及输入文本组成;在词汇表中获取与输出数据相对应的词汇,得到目标预测文本。本申请有效减少计算和存储成本,提高输入上下文窗口中可用空间,提高输出质量。
技术关键词
蒸馏
文本
计算机可读指令
标记
序列
计算机设备
数据获取子模块
压缩装置
注意力机制
可读存储介质
掩码矩阵
人工智能技术
处理器
存储器
系统为您推荐了相关专利信息
故障监测方法
玻璃压延机
特征提取模型
故障特征
时空注意力机制
优化约束条件
径向基函数神经网络
车辆
指标
智能设计技术