How Fast Is AI

{"translation":"嗨 PH 👋\n\n我受够了那些无法验证的 AI 速度宣传，于是搭建了一个网站，对 12 个模型（Anthropic、OpenAI、Meta、DeepSeek、Google、Z-AI、NVIDIA）在 25 个日常任务上的表现进行测评——写邮件、总结论文、解释一段代码——并展示每一种组合真实的录制耗时、token 数、成本和准确率。\n\n你访问时没有任何实时测算。一个定时任务按固定节奏对每个模型运行每个任务，并在响应流式返回时进行录制——访客以原本的速率回放这段录制。我先按"每次访问实时调用"算了下成本：任何真实流量下每月都要几百到几千美元，而且费用随访客数增长，而非随实际价值增长。录制方案不管十个访客还是一万个访客，成本都一样。\n\n搭建过程中有几件事让我意外：\n\n输出 token 上限静默截断了长文本任务——我第一批真实录制数据中 27% 的生成时间被低估了，没有报错，只是数字悄悄出错。\n免费的开源权重模型（Gemma、GLM、Nemotron）和每百万 token 100 美元的旗舰模型跑同一套 25 个任务。免费模型在某些任务上确实更慢——现在这是一个确切的数字，不再是猜测。\n"该用哪个模型"需要综合考虑成本、速度和准确率，而不是只看谁最快。某类别里的首选是最便宜且速度第二快的，而不是单纯最快的那一个。\n\n每一个数字要么是一次录制结果，要么是一个评分，要么是一个标注占位符——方法学页面对每个数字会标明属于哪一类。非常欢迎反馈，尤其是哪里看着不对劲。\n\nhowfastai.com"}