AI工具导航

IronMule

面向 Apple Silicon 的高性能本地 LLM 运行时

IronMule 是什么?

IronMule 是一款专为 Apple Silicon 设计的高性能本地大语言模型运行时,基于 MLX 推理引擎打造。它采用"测量优先"的理念,所有性能数据均来自预先注册的实验,并配有 A/A 对照组与置信区间,确保结果真实可复现。对于追求极致本地推理性能与严谨基准验证的开发者来说,IronMule 提供了一个值得信赖的选择。

产品详细介绍

面向 Apple Silicon 的高性能本地 LLM 运行时

IronMule 是一款专为 Apple Silicon 设计的高性能本地大语言模型运行时,基于 MLX 推理引擎打造。它采用"测量优先"的理念,所有性能数据均来自预先注册的实验,并配有 A/A 对照组与置信区间,确保结果真实可复现。对于追求极致本地推理性能与严谨基准验证的开发者来说,IronMule 提供了一个值得信赖的选择。

定价方案

需要付费
官网查看
定制方案
  • 暂未采集到具体套餐,价格以官网为准

创始人评论

Tobayko
Tobayko创始人

Product Hunt 社区的朋友们!

我开发 IronMule 是出于一个直接的需求:Apple Silicon 的统一内存架构对于本地运行大语言模型来说非常出色,但要获得透明、可复现的基准测试以及真正的硬件原生推理,不应该依赖臃肿的设置或不透明的工具。

什么是 IronMule?

它是一个轻量级、开源的运行时和基准测试工具,专为 Apple Silicon 设计,基于 Apple 的 MLX 框架构建。它能帮助你在本地运行模型时充分发挥 Mac 的性能——无额外开销地测量真实吞吐量、提示处理速度和交互式令牌延迟。

为什么选择 MLX?

IronMule 不使用通用的跨平台封装,而是直接利用 Apple 原生的统一内存和 Metal 执行,从而支持快速、透明地本地测试和比较不同量化级别与模型架构。

该项目 100% 开源,托管在 GitHub 上。我非常期待听到你的反馈,了解你目前在本地运行哪些模型,并看看 IronMule 在你的硬件上表现如何!

感谢你的关注!

创始团队

Tobayko
TobaykoRestless thinker, passionate maker