Mobile LLM Server

在 Android 上运行本地大语言模型。llama.cpp & LiteRT-LM

Mobile LLM Server 让你在 Android 设备上本地运行大语言模型，基于 llama.cpp 与 LiteRT-LM，支持 GGUF 模型格式，把手机变成一台隐私优先的私有 AI 服务器，对外提供与 OpenAI 兼容的 API 接口。所有推理完全在端侧完成，无需联网，兼顾低延迟与数据安全。