官网查看
定制方案
- ✓
暂未采集到具体套餐，价格以官网为准
Inferbench
在您的硬件上对本地 LLM 引擎进行基准测试
Inferbench 是什么？
InferBench 是一款供应商中立的命令行工具，能在用户自己的硬件上直接测试 ollama、llama.cpp 等本地 LLM 推理引擎的真实性能，输出实测的 tokens/s 数据。它会自动识别已安装的引擎、运行统一的测试集，并推荐最适合当前机器的最快配置；项目完全开源（Apache 2.0 协议），支持自托管部署。
产品详细介绍
在您的硬件上对本地 LLM 引擎进行基准测试
InferBench 是一款供应商中立的命令行工具，能在用户自己的硬件上直接测试 ollama、llama.cpp 等本地 LLM 推理引擎的真实性能，输出实测的 tokens/s 数据。它会自动识别已安装的引擎、运行统一的测试集，并推荐最适合当前机器的最快配置；项目完全开源（Apache 2.0 协议），支持自托管部署。
定价方案
需要付费创始人评论
[
[REDACTED]创始人
InferBench 的灵感源于人们对本地大语言模型性能始终追求绝对确定性的需求。开发人员常常不得不依赖在完全不同硬件配置上生成的基准测试数据，而这些数据很少能反映真实的实际性能。需要解决的主要问题就是缺乏可靠且可在本地运行的基准测试工具。虽然现有的解决方案能提供理论上的内存适配估算或孤立的单一引擎指标，但显然仍需要一个能在用户本地机器上直接报告真实测量所得的每秒令牌数的工具。
为了解决这一问题，其方案逐渐演变为打造一款完全厂商中立且跨引擎的解决方案。InferBench 不仅运行简单的测试，还能自动检测已安装的引擎（如 ollama 和 llama.cpp），并通过一个共享的 HTTP 测试框架处理固定的提示词集合。这一演进确保了该工具不仅能进行基准测试，还能主动为任何特定硬件配置推荐绝对最快的配置方案。
代码仓库：https://github.com/RudrenduPaul/InferBench
MCP 服务器：
https://mcpservers.org/servers/rudrendupaul/inferbench
https://glama.ai/mcp/servers/RudrenduPaul/inferbench
NPM：https://www.npmjs.com/package/inferbench-cli
PyPI：https://pypi.org/project/inferbench-cli
创始团队
[
[REDACTED]创始团队
Rudrendu PaulBuilding Agent-Native B2A applications
