官网查看
定制方案
- ✓
暂未采集到具体套餐，价格以官网为准
orbench
在切换模型之前，先用自己的任务对大语言模型进行基准测试。
orbench 是什么？
orbench 是一款桌面应用，支持导入 CSV 或 HF dataset 中的真实任务，对比 OpenRouter 上的不同 LLM，并使用自定义 rubric、AI judge 或盲审人工评审进行评分。通过在切换模型前验证实际任务表现，orbench 能帮助团队更可靠地完成模型选型。
产品详细介绍
在切换模型之前，先用自己的任务对大语言模型进行基准测试。
orbench 是一款桌面应用，支持导入 CSV 或 HF dataset 中的真实任务，对比 OpenRouter 上的不同 LLM，并使用自定义 rubric、AI judge 或盲审人工评审进行评分。通过在切换模型前验证实际任务表现，orbench 能帮助团队更可靠地完成模型选型。
定价方案
需要付费创始人评论
Amandine FLACHS创始人
当你需要了解新的 LLM 是否能在不降低自有提示词质量的前提下真正节省成本时，就必须亲自进行测试。orbench 可帮助你使用自己的数据对任意 OpenRouter 模型运行基准测试，衡量质量、延迟和实际成本，并生成一份供团队查看的报告；每当有新模型发布时，你都可以重新运行该测试。非常想了解你的想法，以及你或你的团队目前如何评估要部署到生产环境中的模型！
创始团队
Amandine FLACHSFormer co-founder of AI startup
