摘要
本申请公开了一种大语言模型的提示词压缩方法、设备及介质,方法包括:根据原始提示词分词后每个词汇的词汇重要性评分与重要性阈值之间的大小关系识别并去除冗余词汇和冗余语句;构建每个语句的局部语法树并根据提示词间的依赖关系由局部语法树构建全局解析树;计算局部信息熵以将LLM分词器与全局解析树上的节点对齐并调整全局解析树的节点值;通过递归算法并根据调整后的节点值修剪全局解析树,并生成提示词对应的压缩提示;对压缩提示进行评估,根据评估结果对压缩提示进行迭代优化,并根据优化后的压缩提示,对提示词进行重构,实现对提示词的压缩。
技术关键词
大语言模型
节点
信息熵
语句
生成提示词
冗余
递归算法
语义
计算机可执行指令
分词
关系
压缩设备
令牌
处理器通信
重构
存储器
标记
介质