AI工具导航

Verify LLM API

查看你的 AI 智能体实际使用的是哪个模型

Verify LLM API 是什么?

Verify LLM API 是一款用于验证 AI Agent 或 API 后端模型真实身份的工具,通过采样单 token 输出并基于 Jensen–Shannon 距离与公开模型指纹进行比对,从而判断其实际使用的是哪一款模型。它内置 161 个精确模型 ID 的指纹库,登录凭证与原始采样均保留在本地,对未知或弱匹配会返回 INCONCLUSIVE 结果;只需让 Codex 代理运行 verifyllmapi.com/run,即可快速检测任意 OpenAI 或 Anthropic 兼容端点。

产品详细介绍

查看你的 AI 智能体实际使用的是哪个模型

Verify LLM API 是一款用于验证 AI Agent 或 API 后端模型真实身份的工具,通过采样单 token 输出并基于 Jensen–Shannon 距离与公开模型指纹进行比对,从而判断其实际使用的是哪一款模型。它内置 161 个精确模型 ID 的指纹库,登录凭证与原始采样均保留在本地,对未知或弱匹配会返回 INCONCLUSIVE 结果;只需让 Codex 代理运行 verifyllmapi.com/run,即可快速检测任意 OpenAI 或 Anthropic 兼容端点。

定价方案

有免费方案
$0/免费
Free
  • ✓

    Verify LLM API

  • ✓

    Behavioral fingerprint verification

查看官网价格

创始人评论

Evan Reed
Evan Reed创始人

我在读完《One Token Is Enough》这篇论文后构建了 Verify LLM API,该论文展示了重复的单 token 输出分布如何可以作为模型的行为指纹。

最小可用的流程只需要一次提示:

运行 https://verifyllmapi.com/run 来验证该 AI Agent 所使用的模型。

对于 Codex 会话,该 Skill 会复用 Agent 主机托管的登录信息,并启动全新的隔离会话。它将凭据和原始样本保留在本地,然后使用 Jensen–Shannon 距离将答案分布与公开参考进行比对。结果为 CONSISTENT(一致)、MISMATCH(不匹配)或 INCONCLUSIVE(无法判定)。这是行为层面的证据,而非厂商的认证。

当前的主要局限在于覆盖度。打包的库涵盖 161 个精确的模型 ID,并非覆盖所有现有模型或路由层。新版本发布、提供商变更以及封装层都可能使指纹发生偏移。我希望其他开发者能使用相同的方法来测量最新模型,并分享可复现的结果。如果你测试了较新的模型指纹,请发送邮件至 evan@nos3c.com。同一邮箱地址也列在 verifyllmapi.com 上。

感谢《One Token Is Enough》的作者们发表了这篇论文、数据集和代码。这个工具是基于他们工作的一次小而实用的构建。

我希望听到直率的反馈:报告中哪里表达得清晰,又在哪里夸大或对证据解释不足?

创始团队

Evan Reed
Evan ReedBuilder of local-first AI tools

官网信息

官网https://verifyllmapi.com/
公司使命

通过使用 AI 智能体对模型路由进行采样,并将答案分布与公开参考答案进行对比来验证 LLM API,从而提供行为一致性证据,而非依赖模型的自我报告。