并发LLM提示执行,速度提升高达20倍!
Tensorchat是一个用于并行AI推理的API——可同时运行多个提示,并在单次调用中混合使用GPT-4.1和Claude 3.7等大型语言模型。通过一个API即可实现观点分支、测试场景并即时生成替代方案,获得高达20倍的加速效果!