AI工具导航

tritify

跨多台机器的确定性 AI 推理

tritify 是什么?

tritify 是 Pelloran 开源的确定性 AI 推理运行时,支持同一模型跨多台机器执行,并通过统一的执行调度确保结果可复现、可逐位验证。其采用 Apache 2.0 开源许可,专为可复现性、审计与分布式推理场景设计,而非单纯追求吞吐量。

产品详细介绍

跨多台机器的确定性 AI 推理

tritify 是 Pelloran 开源的确定性 AI 推理运行时,支持同一模型跨多台机器执行,并通过统一的执行调度确保结果可复现、可逐位验证。其采用 Apache 2.0 开源许可,专为可复现性、审计与分布式推理场景设计,而非单纯追求吞吐量。

定价方案

需要付费
官网查看
定制方案
  • ✓

    暂未采集到具体套餐,价格以官网为准

创始人评论

M
Maker创始人

你好,

我们开发 tritify,是因为我们一直在反复思考一个问题:

如果同一个 AI 模型运行两次,为什么我们不能复现出完全相同的计算?

大多数推理栈主要围绕吞吐量进行优化,而 tritify 探索的是另一个维度:确定性。

它采用精确整数执行,因此在模型、输入和执行调度相同的情况下,每次运行都能复现相同的比特结果。

这一能力同样适用于分布式推理。

一个模型可以拆分到多台机器上,每台机器仅承载其中一部分,而分布式运行的结果仍可复现,并可通过哈希与参考运行结果进行校验。

我们使用 GLM-4.5-Air 验证了这一点——该模型约有 106.9B 个参数和约 427 GB 的整数编码,分布在三台机器上。

这并不是在宣称速度方面的提升。

我们的目标是实现可复现、可审计且可验证的执行。

tritify 依据 Apache 2.0 许可证开源。

GitHub:

https://github.com/pelloran-inc/tritify

论文:

https://doi.org/10.5281/zenodo.23986737

我们尤其欢迎独立的测试、批评意见以及可复现性实验结果。