产品详细介绍

绝不会丢弃指令的语义提示压缩

LLMSlim 是一款开源 Python 工具包，只需一行代码就能帮你将大语言模型的 Token 成本降低 40% 到 70%。它能精准压缩提示词、RAG 文档上下文和多轮对话日志，并且承诺 100% 保留原有指令的完整性，实现从不丢失指令的语义提示压缩。

定价方案

有免费方案

$0/免费

免费

Yashvardhan Thanvi创始人

嘿，Product Hunt 的朋友们！我是 Yash，一名计算机科学/人工智能专业的本科生，目前正在进行人工智能研究实习。我开发 LLMSlim 是因为我在自己的 RAG 流水线中反复遇到同一个问题：我发送给 API 的内容大部分都是冗余信息。

LLMSlim 运行确定性的离线流水线，无需调用 LLM，也不收集遥测数据。它会根据中心性、实体密度和指令存在性为每个句子打分，然后在进行裁剪前，硬性保留所有匹配祈使语气（如“必须”、“绝不”）、角色标记或代码块的内容。其余内容会经过排序和裁剪，最终达到你设定的压缩比例。

目前是早期版本 v0.2.0，采用 MIT 许可证，测试覆盖率达 93% 以上，网站上的基准测试结果是仓库中经 CI 验证的基准测试套件得出的真实数据，没有向上取整。延迟范围从短提示的约 24 毫秒到 12K 令牌文档的约 340 毫秒，我希望你们看到真实的范围，而非单一的最佳情况数值。

下一步计划：流式压缩（compress_stream）、原生 ONNX 嵌入实现 5 毫秒以内打分，以及异步批量助手，所有这些都在仓库的路线图中跟踪。

我真心希望获得关于压缩出错场景的反馈。如果你在演示 playground 中粘贴提示，它删除了本不该删除的内容，这类报告正是让 v0.3.0 变得更好的关键。感谢大家的关注。

Yashvardhan ThanviAI Undergrad. Building llmslim.

公司使命

为企业大语言模型流水线构建的语义上下文压缩技术，可精准剔除提示词填充内容、检索增强生成噪声和对话冗余，同时保证指令保真度，能将大语言模型的 Token 成本降低 50%。