Desktop Model Gateway

嗨，Product Hunt。

我就是做这个产品的人。简单说一下背景：

一家20人的公司找到我们，带了一批法律上绝不能离开他们内网的文档。云端AI直接被排除在外。于是他们买了一台大内存的Windows工作站，把llama.cpp跑了起来——结果才发现，难的根本不是模型。

难的是其他19个人也要用。

于是我们补上了那块缺失的中间层：按用户分发的密钥、配额、审计日志、根据真实压测结果设定的并发上限，以及足够强的自愈能力，让它周末没人盯着也不会轻易挂掉。

有两件事我特别想听听大家的反馈：

1. 并发数。我们在iGPU机器上测出来的吞吐峰值是8。如果你压过类似的机器，得到了不一样的性能曲线，我非常想看看。

2. 坦诚说明局限性的那一节。我们针对槽位死锁只提供了一个守护脚本来兜底，并没有真正修干净。与其把这事藏在更新日志里，我更愿意提前知道这对你来说是不是完全不可接受的。

这个项目还很早期，运维层面也很粗糙。告诉我它会在哪里崩。