官网查看
定制方案
- ✓
暂未采集到具体套餐，价格以官网为准
BaseRT - Apple M5 Optimized
比 llama.cpp 快 6.4 倍，比 MLX 快 3.9 倍
BaseRT - Apple M5 Optimized 是什么？
BaseRT 是目前 Apple Silicon 上最快的 LLM 推理引擎，性能比 llama.cpp 快 6.4 倍，比 MLX 快 3.9 倍。一条命令即可安装，让你在本地设备上流畅运行各类大语言模型，充分释放 Apple M5 芯片的算力潜能。
产品详细介绍
比 llama.cpp 快 6.4 倍，比 MLX 快 3.9 倍
BaseRT 是目前 Apple Silicon 上最快的 LLM 推理引擎，性能比 llama.cpp 快 6.4 倍，比 MLX 快 3.9 倍。一条命令即可安装，让你在本地设备上流畅运行各类大语言模型，充分释放 Apple M5 芯片的算力潜能。
定价方案
需要付费创始人评论
Lukas Wesemann创始人
嘿 Product Hunt！我是 Lukas，BaseRT 的联合创始人。
一句话总结：Apple M5 Pro 上大语言模型的性能新巅峰。
M5 引入了全新的张量核心架构，并通过 Metal 4 张量 API 开放使用。我们对 BaseRT 进行了深度调优，以充分发挥其全部潜能。
测试结果：
- 相比 llama.cpp，提示处理（预填充）速度最高提升 6.3 倍
- 相比 MLX，预填充速度最高提升 3.9 倍
测试覆盖了 Qwen3/3.5/3.6、Llama 3.2 以及 Gemma 4 共 10 种配置，参数量从 0.6B 到 35B 不等。
我们打造 BaseRT，是因为我们坚信端侧推理即将迎来爆发，而 Apple 芯片正是承载它的最佳消费级硬件。
软件的发展始终没能跟上芯片的脚步，我们正致力于填补这一差距。欢迎大家就基准测试、Metal 4 张量 API 或我们下一步的方向随时提问，我非常乐意一一解答。也真诚期待您的反馈——如果您手上有 M5，不妨亲自试用一下，告诉我们您跑出了怎样的数字。
创始团队
Prabod RathnayakaCo-founder @ Base Compute
Lukas WesemannRun AGI on-device
Fabian WaschkowskiCo-founder @ Base Compute
