AI工具导航

AJRouter Engine

在 Windows 上运行和管理 llama.cpp 与 audio.cpp

AJRouter Engine 是什么?

AJRouter Engine 是一款本地化的 Windows 控制平面工具,可统一管理和运行 llama.cpp 与 audio.cpp 工作负载,支持文本、语音与音乐任务的协同调度。它内置兼容 OpenAI 协议的文本 API、GPU 资源监控与日志面板,并打包了完整的运行时环境和安装程序,用户只需自行准备 GGUF 模型即可使用,全程无需云端账号、订阅或任何遥测数据上报。

产品详细介绍

在 Windows 上运行和管理 llama.cpp 与 audio.cpp

AJRouter Engine 是一款本地化的 Windows 控制平面工具,可统一管理和运行 llama.cpp 与 audio.cpp 工作负载,支持文本、语音与音乐任务的协同调度。它内置兼容 OpenAI 协议的文本 API、GPU 资源监控与日志面板,并打包了完整的运行时环境和安装程序,用户只需自行准备 GGUF 模型即可使用,全程无需云端账号、订阅或任何遥测数据上报。

定价方案

需要付费
官网查看
定制方案
  • ✓

    暂未采集到具体套餐,价格以官网为准

创始人评论

M
Maker创始人

你好,我是 AJ。AJRouter 源于我在 Windows 上部署本地 AI 时遇到的繁琐手动操作:启动服务、切换 GGUF 配置、监控显存占用,以及避免文本和音频工作负载相互冲突。我围绕 llama.cpp 和 audio.cpp 构建了一个控制平面,让部署流程可以复现,也让编码代理能够使用稳定的本地 API。在我的 RTX 5060 Ti 16 GB 上,一个意外的发现是:提高 MTP draft 深度反而让五项任务测试变得更慢。我将构建过程、测试数据及其局限性记录在了这里:https://ajthe.dev/case-studies/p...

这是一个付费的 Windows 下载版本,已包含运行时环境;你需要自备 GGUF 模型。如果你也运行本地模型,在操作整个技术栈时,哪一部分最耗费你的时间?