Hindsight Models and Inference API 提供用于重排序、嵌入和结构化决策的小型快速托管模型，只需将现有 Cohere 或 OpenAI 客户端指向 inference.hindsight.vectorize.io，无需重写代码。hs-rerank-1 和 hs-embed-1 在基准测试中精度领先且可在 CPU 上快速运行，hs-decide-1-flash 则以 167 毫秒响应是/否、单选及可能性判断，替代 LLM 调用。模型价格低至每百万 token 0.005 美元，提供 5 美元免费额度，并在 Hugging Face 公开权重。

产品详细介绍

用于重排序、嵌入和决策的小型快速模型

[

[REDACTED]创始人

Product Hunt，大家好 👋 我是 Vectorize 的 Chris。

我们打造了 Hindsight，这是一款面向 AI 智能体的开源记忆系统。记忆系统中充满了各种细小的判断：这个事实是新出现的吗？这些记忆哪些重要？这些证据足以回答问题吗？过去，我们会把每一个判断都交给 LLM 处理：每次都要耗费数秒的延迟，并为每个 token 支付费用，最终却只得到一个是或否的答案。

因此，我们针对这些步骤训练了小型模型。今天，我们以 Hindsight Models 的形式正式发布它们，同时提供 Hugging Face 上的开放权重模型和托管的 Hindsight Inference API：

• hs-rerank-1（114M）：一款重排序器（reranker），可直接替代 Cohere Rerank。它比 gte-reranker-modernbert-base 更准确，并且在 CPU 上快 6 倍。

• hs-embed-1（112M）：用于生成嵌入向量（embeddings），可直接替代 OpenAI Embeddings。在 CPU 上，每次查询耗时 16.5 毫秒。

• hs-decide-1-flash（0.8B）：一款决策模型。向它提出结构化类型的问题（单选、可能性判断、量表定位），约 167 毫秒即可返回概率。用它进行重排序时，它还会过滤掉无帮助的文档。

在 Hindsight 中，决策模型让记忆成本最多降至原来的 40%（便宜 2.5 倍），并在我们测试的七款 LLM 中，有六款因此获得了更好的答案。发布文章和 benchmarks.hindsight.vectorize.io 上提供了所有数据及其背后的方法。

仅按输入 token 计费，每 100 万个输入 token 0.005 美元起；新账户还可获得 5 美元免费额度。在编写任何代码之前，先到 Playground 试用所有模型，也可以自行运行开放权重模型。

你会用决策模型做什么？我们全天在线，随时为你解答问题。

发布文章：https://hindsight.vectorize.io/b...

Hindsight Models and Inference API

Hindsight Models and Inference API 是什么？

产品详细介绍

定价方案

创始人评论

创始团队