Grepture

嘿，产品狩猎 👋

我是本，Grepture的创始人。

我在一家AI初创公司担任技术负责人，想要一个地方查看我们应用的每一个AI调用，评分答案是否有效，在信息离开网络前进行PII涂黑，并跟踪它给我们带来了多少成本。很多工具都做过这些事。没有人在请求路径上同时完成了这四个。

于是我构建了Grepture：一个位于应用和任何大型语言模型提供商之间的AI网关。不过，你可以决定是添加代理跳并调整热路径中的请求和响应，还是在跟踪模式下异步跟踪可观测性。

以下是一些亮点：

• 对每个请求进行完整记录，包括多步对话

• 实时流量运行的LLM即评判评估及自动数据集创建

• 自动PII检测 + 数据进入LLM前的遮蔽和重水合

• 按请求成本和令牌分析

• 零保留模式，提示文从不进入我们的数据库（我们托管在欧盟）

• 通过代理路由完整开发会话的CLI处理

代理、CLI和SDK已经开源，计划最终也让应用自托管。目前我们专注于让AI重度产品更有用，并优化开发者体验。

很高兴听听大家的看法。你也可以发邮件给我，邮箱是 ben@grepture.com—— 我总是尽量阅读并回复每封邮件。