一种基于动态预算分配的大模型提示词压缩方法

本发明提出了一种基于动态预算分配的大模型提示词压缩方法。旨在优化大语言模型的提示词长度，以提高模型的计算效率并降低计算成本。通过动态预算分配器和词汇选择器的协同工作，能够在保证语义完整性的前提下，对提示词进行压缩。首先，动态预算分配器基于每个句子与问题的相关性，动态分配每个句子的词汇保留预算；然后，词汇选择器通过策略网络计算每个词汇的保留概率，优先保留关键词汇。通过奖励函数模块评估压缩提示的忠诚度和相似度，指导策略梯度更新网络参数。该方法显著提升大语言模型的性能，适用于多轮对话、长文本分析等场景中的提示优化。