一种提示压缩方法、装置、计算机设备及存储介质

AITNT
正文
推荐专利
一种提示压缩方法、装置、计算机设备及存储介质
申请号:CN202411388586
申请日期:2024-09-30
公开号:CN119227808A
公开日期:2024-12-31
类型:发明专利
摘要
本申请属于人工智能技术领域,涉及一种提示压缩方法、装置、计算机设备及存储介质,该方法包括:获取蒸馏语言模型以及与蒸馏语言模型相对应的词汇表以及嵌入矩阵,其中,蒸馏语言模型的注意力掩码为presting掩码;分别在词汇表以及嵌入矩阵中添加要点标记,得到标记词汇表以及标记嵌入矩阵;获取第一任务序列,在第一任务序列的任务文本以及输入文本中间插入k个连续的要点标记,得到第一预测序列;将第一预测序列输入至蒸馏语言模型进行预测操作,得到输出数据,其中,输出数据由要点标记组以及输入文本组成;在词汇表中获取与输出数据相对应的词汇,得到目标预测文本。本申请有效减少计算和存储成本,提高输入上下文窗口中可用空间,提高输出质量。
技术关键词
蒸馏 文本 计算机可读指令 标记 序列 计算机设备 数据获取子模块 压缩装置 注意力机制 可读存储介质 掩码矩阵 人工智能技术 处理器 存储器
系统为您推荐了相关专利信息
1
一种多源信息管理的医疗辅助审核方法及系统
审核方法 模式 有效性 关键词 数据字
2
一种玻璃压延机主锟轴承的故障监测方法
故障监测方法 玻璃压延机 特征提取模型 故障特征 时空注意力机制
3
一种基于联邦学习的电力营销短文本分级方法及系统
注意力机制 电力 样本 客户端 数据
4
多维度特征协同的鱼群摄食强度量化识别方法及模型
运动特征 距离信息 水面 投饵机 关键点
5
优化车辆侧面防护性能的多代理模型辅助优化方法及系统
优化约束条件 径向基函数神经网络 车辆 指标 智能设计技术
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号