一种提示文本压缩方法和相关设备

本申请公开了一种提示文本压缩方法和相关设备，通过将原始提示文本分解为令牌序列，计算各令牌基于上下文条件概率的自信息量，依据目标压缩比确定迭代限制阈值，迭代移除低自信息量令牌直至达到压缩目标。该方案通过自信息量评估令牌重要性，精准去除冗余、低价值信息，解决了现有技术无法有效剔除低信息量内容的问题；基于语言模型的计算机制，规避了大模型自身能力限制及幻觉严重的缺陷；相较于构建知识图谱的方法，无需复杂图谱构建与遍历，大幅降低成本，显著缩短信息处理时间。由此，实现了对提示文本的高效、准确压缩，提升信息处理效率，得到更贴合实际应用需求的高质量压缩提示文本。