官网查看
定制方案
- ✓
暂未采集到具体套餐，价格以官网为准
jitllm
面向 LLM 推理的操作系统
jitllm 是什么？
jitllm 是一款专为 LLM 推理设计的"操作系统"，以单一二进制、无任何依赖的方式即可部署运行。它能自动识别硬件并优化内核与模型在 CPU/GPU 上的分配，预填充速度比 llama.cpp 快至 4.62 倍、批量解码速度比 vLLM 快至 5.53 倍，且支持运行超出内存容量的大型开源模型。产品兼容 OpenAI 和 Anthropic 的 API 协议，并提供桌面端、终端及 Linux、macOS、Windows 全平台支持。
产品详细介绍
面向 LLM 推理的操作系统
jitllm 是一款专为 LLM 推理设计的"操作系统"，以单一二进制、无任何依赖的方式即可部署运行。它能自动识别硬件并优化内核与模型在 CPU/GPU 上的分配，预填充速度比 llama.cpp 快至 4.62 倍、批量解码速度比 vLLM 快至 5.53 倍，且支持运行超出内存容量的大型开源模型。产品兼容 OpenAI 和 Anthropic 的 API 协议，并提供桌面端、终端及 Linux、macOS、Windows 全平台支持。
定价方案
需要付费创始人评论
Samy Fodil创始人
嗨，Product Hunters，
推理引擎体积庞大且僵化。需要配置的东西很多，即使模型跑起来了，如何充分发挥硬件性能又是另一项工作。
我想打造一个更易用的工具：一个二进制文件，扔到机器上就能开始跑模型。它能更多地自动识别硬件。
灵感来自操作系统和 JIT 编译器，这两样我都做过很多。操作系统能检测硬件、加载合适的驱动程序、调度进程并管理内存。JIT 编译器会针对所运行的机器生成代码。jitllm 把这些思路整合在一起，让推理更快、更易运行、更灵活。
所以我把它叫做 LLM 推理操作系统。它能检测你的 CPU 和 GPU，生成优化内核，并在运行时编排模型位置。超过内存大小的模型会从磁盘分页。层可以在设备之间迁移，同时保留其对话状态，所以改变位置不意味着从头开始。
jitllm 易于安装、部署和使用，而且速度极快！你可以在 https://jitllm.org 找到基准测试并开始使用。
创始团队
Samy Fodil创始团队
