TrustedRouter

{"translation":"大家好，我创办了 trustedrouter.com，这是一个非常简单的方式，让你使用 AI 时无需将数据交给像闭源路由器这样的第三方。\n\n构建这个项目非常有趣，因为我结识了许多不同服务商的 CEO 和创始人。我们现在的服务商数量已经超过了 open router，模型也更多。更多详情很快会分享。\n\n我们在安全和模型选择建议方面做了很多创新，能够帮助你选择使用哪个大语言模型。我们还创建了一个新网站 anyeval.com，我认为它将成为互联网上 AI 开源基础设施的关键组成部分。其他公司如 AAII 会发布基准测试，但你根本不知道他们真正在做什么、如何真正测量的，他们对测试哪些模型也存在很大的盲点，因为成本太高了。anyeval 的理念是：你可以花几便士运行评测中的单个问题，然后作为集体，我们可以众包付费为我们想要的任何模型完成完整评测；或者你也可以只支付随机抽样问题的费用，从而对该模型的质量形成自己的判断。你可以进行模型之间的直接对比，也可以创建全新的评测。\n\n例如，我创建了一个名为 honey pot bench（也叫 honey bench）的新评测，它重现了 hugging face 事件的一些情况，用来衡量特定的 AI 是否倾向于想要"逃脱"。我发现特别是 Fable，与其他 Claude 模型不同，它的对齐程度非常低。\n\n我还创建了 freedom bench，用来衡量模型中与中国审查相关的审查程度。我发现审查主要来自中国服务商层面的监控，而不是美国服务商。我没有在模型权重中看到太多审查。"}